LangChain, OpenWiki 에이전트 메모리 시험

LangChain은 2026년 10월 28일, OpenWiki 메모리 계층을 사용하는 에이전트가 여러 문서의 정보를 연결해야 하는 질문에서 키워드 검색만 사용하는 에이전트보다 정확도가 약 5배 높았다고 밝혔습니다. 위키에 증거 그래프를 추가하자 정확도가 27% 개선되고 인용 일관성이 2배 높아졌으며, 중앙값 응답 시간은 40%, 정답당 비용은 58% 줄었습니다. 단순 조회에서는 검색과 위키의 정확도가 비슷했지만 위키 응답에 시간이 더 걸렸습니다.

OpenWiki는 출처 문서를 인용이 달린 연결 페이지로 변환하는 오픈소스 위키 컴파일러입니다. LangChain은 긴 형식의 문서 111건과 사실 972개를 정리한 합성 보험 자료집으로 시험했습니다. 자료에는 오래된 버전, 모순, 간접 참조 연결, 표현 차이, 매우 긴 문서가 포함됐습니다. 두 조건에서 검색 에이전트, 모델, 지시문, 문서, 질문은 같게 두고, 컴파일된 위키에 접근할 수 있는지만 달리했습니다. 연구진은 단순 조회 질문 80개와 연결 질문 50개를 각각 3회씩 제시했습니다.

단순 조회에서 키워드 검색은 정확도 0.84, 인용 중복도 0.72를 기록했고, 위키는 각각 0.83과 0.74였습니다. 정답당 비용은 검색이 $0.020, 위키가 $0.021이었으며 중앙값 지연시간은 9초에서 12초로 늘었습니다. 연결 질문에서는 정확도가 검색만 사용했을 때 0.10에서 위키를 사용했을 때 0.52로 상승했고, 정답당 비용은 약 $0.55에서 $0.19로 감소했습니다. 다만 연결 질문의 인용 중복도는 0.25로 단순 조회의 0.74보다 낮아, 실행마다 같은 증거를 일관되게 인용하지는 못했습니다.

LangChain은 이어 주장, 위키 페이지, 문단, 주제 사이의 유형별 연결을 나타내는 증거 그래프를 추가했습니다. 그래프는 문서를 고유 식별자가 붙은 문단으로 나누고, 각 주장을 정확한 구절에 연결합니다. 오래된 문서를 대체하는 문서나 다른 문서를 참조하는 절 같은 관계도 기록합니다. 그래프 구축에는 1초도 걸리지 않았고 시험 자료집의 명시적 상호 참조를 모두 찾아냈습니다. 인용과 참조를 재사용하므로 그래프를 만드는 데 추가 모델 호출은 필요하지 않지만, 위키에서 가져온 연결은 모델이 생성한 인용의 정확성에 여전히 좌우됩니다.

그래프를 이용하면 에이전트가 locate로 시작점을 찾고 expand로 증거와 관련 문서의 연결을 따라갈 수 있습니다. 위키만 사용한 경우와 비교해 그래프는 정확도를 27% 개선하고 인용 일관성을 2배 높였으며, 중앙값 응답 시간을 40%, 정답당 비용을 58% 줄였습니다. LangChain은 공개한 답변 비용에 위키 편집과 업데이트 비용은 포함되지 않았다고 밝혔습니다. 문서 111건을 편집하는 데 $4.15가 들었고, 이후 문서 17건을 추가하는 비용은 건당 약 $0.09였습니다. 회사는 여러 에이전트가 같은 출처를 바탕으로 문서 간 연결 질문에 반복해서 답할 때 이 방식이 가장 유용하다고 설명했습니다. 단순 조회에서는 검색만으로도 정확도가 같고 속도는 더 빨랐습니다. LangChain은 위키를 동적으로 구축하고, 의미·일화·절차 기억을 위한 주장과 유형별 연결을 탐색할 계획입니다.

LangChain은 2026년 10월 28일, OpenWiki 메모리 계층을 사용하는 에이전트가 여러 문서의 정보를 연결해야 하는 질문에서 키워드 검색만 사용하는 에이전트보다 정확도가 약 5배 높았다고 밝혔습니다. 위키에 증거 그래프를 추가하자 정확도가 27% 개선되고 인용 일관성이 2배 높아졌으며, 중앙값 응답 시간은 40%, 정답당 비용은 58% 줄었습니다. 단순 조회에서는 검색과 위키의 정확도가 비슷했지만 위키 응답에 시간이 더 걸렸습니다.

OpenWiki는 출처 문서를 인용이 달린 연결 페이지로 변환하는 오픈소스 위키 컴파일러입니다. LangChain은 긴 형식의 문서 111건과 사실 972개를 정리한 합성 보험 자료집으로 시험했습니다. 자료에는 오래된 버전, 모순, 간접 참조 연결, 표현 차이, 매우 긴 문서가 포함됐습니다. 두 조건에서 검색 에이전트, 모델, 지시문, 문서, 질문은 같게 두고, 컴파일된 위키에 접근할 수 있는지만 달리했습니다. 연구진은 단순 조회 질문 80개와 연결 질문 50개를 각각 3회씩 제시했습니다.

단순 조회에서 키워드 검색은 정확도 0.84, 인용 중복도 0.72를 기록했고, 위키는 각각 0.83과 0.74였습니다. 정답당 비용은 검색이 $0.020, 위키가 $0.021이었으며 중앙값 지연시간은 9초에서 12초로 늘었습니다. 연결 질문에서는 정확도가 검색만 사용했을 때 0.10에서 위키를 사용했을 때 0.52로 상승했고, 정답당 비용은 약 $0.55에서 $0.19로 감소했습니다. 다만 연결 질문의 인용 중복도는 0.25로 단순 조회의 0.74보다 낮아, 실행마다 같은 증거를 일관되게 인용하지는 못했습니다.

LangChain은 이어 주장, 위키 페이지, 문단, 주제 사이의 유형별 연결을 나타내는 증거 그래프를 추가했습니다. 그래프는 문서를 고유 식별자가 붙은 문단으로 나누고, 각 주장을 정확한 구절에 연결합니다. 오래된 문서를 대체하는 문서나 다른 문서를 참조하는 절 같은 관계도 기록합니다. 그래프 구축에는 1초도 걸리지 않았고 시험 자료집의 명시적 상호 참조를 모두 찾아냈습니다. 인용과 참조를 재사용하므로 그래프를 만드는 데 추가 모델 호출은 필요하지 않지만, 위키에서 가져온 연결은 모델이 생성한 인용의 정확성에 여전히 좌우됩니다.

그래프를 이용하면 에이전트가 locate로 시작점을 찾고 expand로 증거와 관련 문서의 연결을 따라갈 수 있습니다. 위키만 사용한 경우와 비교해 그래프는 정확도를 27% 개선하고 인용 일관성을 2배 높였으며, 중앙값 응답 시간을 40%, 정답당 비용을 58% 줄였습니다. LangChain은 공개한 답변 비용에 위키 편집과 업데이트 비용은 포함되지 않았다고 밝혔습니다. 문서 111건을 편집하는 데 $4.15가 들었고, 이후 문서 17건을 추가하는 비용은 건당 약 $0.09였습니다. 회사는 여러 에이전트가 같은 출처를 바탕으로 문서 간 연결 질문에 반복해서 답할 때 이 방식이 가장 유용하다고 설명했습니다. 단순 조회에서는 검색만으로도 정확도가 같고 속도는 더 빨랐습니다. LangChain은 위키를 동적으로 구축하고, 의미·일화·절차 기억을 위한 주장과 유형별 연결을 탐색할 계획입니다.