EngramRAG: 장기 인간–AI 작업을 위한 문서 기반 온톨로지 메모리

장기 작업의 병목은 무엇을 읽게 할지입니다

프런티어 언어 모델은 한 번의 대화 안에서 놀라운 추론을 수행합니다. 그러나 며칠과 몇 달에 걸쳐 이어지는 일에는 순간의 추론 능력만으로 부족합니다. 사람의 의도와 제약, 지난 결정과 그 근거, 이후에 바뀌거나 철회된 사실이 다음 작업에서도 올바른 형태로 다시 선택돼야 합니다.

긴 컨텍스트 창은 많은 토큰을 담습니다. 무엇을 남길지, 어느 기록이 최신인지, 서로 떨어진 어떤 사실을 함께 읽어야 하는지까지 결정하지는 않습니다. 사람은 모든 암묵적 맥락을 매번 완전한 프롬프트로 다시 쓸 수 없고, 가장 강한 모델도 전달받지 못한 근거를 복원할 수 없습니다.

우리는 이를 공유 맥락 외재화 병목이라고 부릅니다.

장기적인 인간–AI 작업의 신뢰도는 모델의 능력뿐 아니라, 지식이 얼마나 지속적이고 검토 가능하며 검색 가능한 외부 상태로 남아 있는지에 달려 있습니다.

EngramRAG는 이 문제에 대한 Consilience의 답입니다. 사람이 읽고 쓰고 고치는 Markdown을 지식의 기준점으로 두고, 문서에서 파생한 온톨로지를 동일성·관계·출처·개정을 탐색하는 인덱스로 사용합니다. 에이전트는 같은 문서 체계 안에서 검색하고 읽고 씁니다. 기계의 해석이 원본을 대체하지 않으면서도, 검증된 결과는 다음 작업의 맥락으로 이어집니다.

하나의 기억, 세 개의 신뢰 경계

EngramRAG는 모든 정보를 하나의 벡터 저장소에 넣지 않습니다. 권위와 수정 규칙이 다른 세 층으로 나눕니다.

이 분리는 안전성의 경계이기도 합니다. “무엇이 사실인가”는 사람이 검토할 수 있는 지식 문서로, “이 사용자와 어떻게 일할 것인가”는 절차 기억으로 보냅니다. 웹 페이지나 화면에서 읽은 내용이 조용히 다음 세션의 영구 지시가 되지 않게 합니다.

에이전트의 학습도 모델 파라미터를 훈련하거나 검토되지 않은 사실을 그래프에 바로 넣는 일이 아닙니다. 중복을 확인한 뒤 일반 Markdown 노트를 만들고, 그 문서가 다른 기록과 같은 검토·추출 생명주기에 들어가게 합니다. 저장됐다는 이유만으로 기계가 쓴 문장이 권위를 얻지는 않습니다.

문서에서 시작해 다시 문서로 돌아옵니다

EngramRAG는 지식을 하나의 완결된 기억 루프로 운반합니다.

1. 기록하고 가져옵니다. 사람과 에이전트가 Markdown을 씁니다. 외부 파일은 원본을 남긴 채 문서로 변환합니다.
2. 바뀐 부분만 추출합니다. 내용 해시가 달라진 문서에서 엔티티·관계·statement를 증분 추출합니다.
3. 모든 관계를 원본에 묶습니다. 문서마다 독립된 named graph를 가집니다. 재추출은 그 그래프를 한 번에 교체하므로 삭제된 문장의 triple이 남지 않습니다.
4. 파괴적 병합 없이 동일성을 해소합니다. 표면형·임베딩·타입·문서 근거·모델 판정을 조합해 같은 대상인지 제안합니다. same·broader·narrower·related·distinct 판정은 되돌릴 수 있는 오버레이로 남습니다.
5. 검색하고 맥락을 조립합니다. 질의 신호로 그래프를 시드하고 Personalized PageRank로 관계를 따라갑니다. 원문과 관계 근거를 제한된 컨텍스트 안에 함께 담습니다.
6. 통제 아래 행동합니다. 에이전트는 같은 검색·읽기·쓰기 경로를 사용하며, 쓰기는 권한·diff·체크포인트·되감기 경계를 통과합니다.
7. 지식을 다시 순환시킵니다. 검증한 발견과 수정된 결정은 다시 Markdown에 남고, 다음 추출에서 그 아래의 그래프가 갱신됩니다.

목표는 끝없이 커지는 그래프가 아닙니다. 사람이 언제든 원문으로 돌아가 해석을 고치고, 그 교정을 중심으로 기계가 읽는 구조를 다시 만들 수 있는 기억입니다.

가까운 문장보다 필요한 관계를 찾습니다

일반적인 RAG가 질문과 가장 비슷한 문단을 찾는다면, EngramRAG는 질문이 무엇과 연결돼 있는지 찾습니다.

명시적 검색은 네 가지 신호를 함께 사용합니다.

• 질의와 엔티티 표면형의 어휘 일치
• 질의와 엔티티 라벨 임베딩의 의미 유사도
• 질의와 추출된 관계 triple 임베딩의 유사도
• 문서·청크 임베딩과 BM25 문서 검색

이 신호들로 그래프를 시작하고, Personalized PageRank가 관계·동의어·계층·문서 언급을 따라 관련성을 확산합니다. 마지막에는 상위 노드만 자르지 않고 멀티홉 경로를 완성하는 bridge 관계를 위한 자리도 남깁니다. 양 끝의 사실을 찾고도 그 둘이 왜 이어지는지 설명하는 중간 관계를 버리는 “마지막 1미터”의 손실을 막기 위해서입니다.

자동 턴 컨텍스트는 의도적으로 작게 유지합니다. 임베딩 없이 어휘와 그래프를 사용하는 가벼운 경로가 최대 8개의 짧은 결과만 넣고, 부분적이거나 오래됐을 수 있음을 표시합니다. 더 깊은 질문에서는 에이전트가 명시적 검색과 그래프 질의로 근거를 다시 확인합니다.

같은 모델이어도 기억 구조가 결과를 바꿉니다

우리는 모델·과제·코퍼스·제품 경로를 고정하고 시스템의 일부만 제거하는 방식으로 EngramRAG를 평가했습니다. 강한 결과는 모델 비교가 아니라, 모델 주변의 기억 구조만 바꿨을 때 생긴 차이입니다.

코드 애블레이션은 구조의 기여를 선명하게 보여줍니다. 텍스트 검색은 21회 중 14회를 성공했습니다. 임베딩만 더해도 14회로 같았습니다. 관계 그래프를 더하자 18회, 현재의 그래프 활용 경로에서는 19회로 올랐습니다. 별도로 실행한 어려운 과제에서는 6/12 대 12/12였습니다.

에이전트 루프의 경제성도 달라졌습니다. 균형 실행에서 성공당 비용은 $0.180에서 $0.092, 지연은 22.0초에서 17.5초, 도구 호출은 7.76회에서 5.29회로 줄었습니다. 정해진 실험 조건의 실측이지만 결론은 직접적입니다. 이 차이는 더 강한 모델이나 임베딩만으로 만든 것이 아니라, 관계 구조와 그것을 사용하는 경로에서 나왔습니다.

문서 검색에서도 같은 패턴이 반복됐습니다. 두 실제 볼트에서 전체 융합은 키워드 전용보다 recall@10이 30.7%p, 38.7%p 높았습니다. MuSiQue에서는 관계 랭킹을 제거하자 필요한 근거가 모두 상위 10개에 들어온 질문의 비율이 63%에서 25%로 떨어졌습니다. 팔 사이에서 모델이 더 똑똑해진 것이 아니라, 시스템이 모델이 읽어야 할 것을 더 잘 골랐습니다.

다중 근거 검색 평가 자세히 보기.

기억은 원본을 제대로 읽는 순간부터 시작됩니다

기억 그래프는 그 안에 들어온 자료보다 좋아질 수 없습니다. Consilience는 PDF·오피스 문서·스프레드시트·슬라이드·웹 페이지·이미지 등을 원본과 함께 편집 가능한 Markdown으로 변환합니다. 표·제목·읽기 순서·출처 경계를 보존해, 손실된 요약이 아니라 충실한 기록 위에서 온톨로지가 자라게 합니다.

2026년 8월 31일, Gemini 3.6 Flash를 사용하는 Consilience 문서 파싱 파이프라인을 DP-Bench의 공개 200문서 전체에 한 번의 고정 실행으로 평가했습니다. 실패한 문서는 없었습니다.

당시 공개표의 최고값보다 TEDS는 0.28점, TEDS-S는 0.79점 높았습니다. best-of-N 선택, 추론 중 정답 참조, 문서별 수작업 교정이나 사후 보정 없이 전체 코퍼스를 한 번 실행한 결과입니다. 공식 등재는 아직 검토 중이므로, 이는 재현 가능한 제출 후보 기록이지 확정된 공식 순위 주장은 아닙니다. DP-Bench 공개 리더보드와 제출 기록에서 비교 조건을 확인할 수 있습니다.

Consilience가 만든 것은 문서 입력·전사 프롬프트·의미 구조 직렬화·정규화·평가를 연결한 파싱 파이프라인입니다. 기반 모델인 Gemini 3.6 Flash는 외부에서 제공됐으며 Consilience가 훈련한 모델이 아닙니다.

온톨로지는 진실을 선언하지 않고 근거를 보존합니다

모델이 문장에서 triple을 추출했다는 사실은 그 triple이 참이라는 뜻이 아닙니다. EngramRAG는 이 차이를 설명 문구가 아니라 데이터 구조로 유지합니다.

• 모든 관계는 원본 문서별 named graph에 귀속됩니다.
• 사람이 쓴 assertion과 모델이 제안한 analysis는 서로 다른 층에 저장됩니다.
• 엔티티 해소는 오버레이이므로 잘못 합친 대상을 다시 분리할 수 있고, 사용자의 distinct 판정은 이후 자동 병합을 막습니다.
• 새로운 결정은 과거의 assertion을 지우지 않은 채 이전 결정을 개정하는 후보가 될 수 있습니다.
• 서로 양립할 수 없는 타입은 오병합을 막고, 원본 문서는 계속 사람이 확인할 수 있습니다.

작동 원칙은 truth가 아니라 provenance입니다. EngramRAG는 무엇을 믿으라고 자동 선언하는 대신, 관계가 왜 생겼고 누가 쓰고 추출하고 승인했는지를 보존합니다. 온톨로지는 사람이 남긴 기록을 대체하지 않고, 사람과 에이전트가 그 기록을 탐색하게 합니다.

한 번의 검색을 기억의 생명주기로 바꿉니다

EngramRAG가 바꾸는 것은 RAG의 단위입니다. 한 번의 질문과 그 주변 문단이 아니라, 지식이 기록되고 연결되고 검색되고 수정돼 다시 쓰이는 전체 생명주기를 다룹니다.

사람이 매 세션마다 완벽한 프롬프트를 재구성할 필요가 없어야 합니다. 모델도 서로 끊어진 파일 몇 개만 받고 매번 처음부터 시작할 필요가 없어야 합니다. Consilience는 그 사이에 사람이 소유하고 수정하는 문서를 두고, 그 아래에 되돌릴 수 있는 관계 인덱스를 만듭니다. 원본은 읽을 수 있고, 구조는 탐색할 수 있으며, 한 대화에서 만든 교정은 다음 작업까지 살아남습니다.

측정은 한 방향을 가리킵니다. 같은 모델을 사용해도 기억 구조는 에이전트가 무엇을 찾는지, 얼마나 안정적으로 작업을 끝내는지, 정답 하나에 얼마를 쓰는지를 바꿉니다. 모델의 능력과 기억 아키텍처는 서로 대체하는 것이 아니라 서로를 증폭합니다.

EngramRAG는 Consilience가 개발한 문서 처리·기억·검색 파이프라인입니다. 추출과 추론 과정에서 외부 파운데이션 모델을 사용할 수 있지만, EngramRAG 자체가 파운데이션 모델은 아니며 Consilience가 그 모델들을 훈련한 것도 아닙니다.