전통적인 검색 파이프라인은 문서를 인덱싱하기 전 256 혹은 512 토큰과 같은 임의의 고정된 크기로 분할한다. 이러한 방식은 코드 예제와 설명을 분리하거나 제목과 내용을 따로 떼어놓아 기술 문서 본연의 의미를 훼손하는 경우가 잦다. 검색 시스템이 높은 유사도 점수를 기록하더라도, 모델은 핵심 문맥과 추론 근거가 제거된 정보를 전달받게 되어 결과적으로 이해 실패로 이어진다.

문서의 구조인 제목, 섹션 경계, 목록 등은 정보가 어떻게 그룹화되고 이해되어야 하는지를 결정하는 핵심 요소이다. 검색 시스템은 글자 수에 집중하기보다 문서를 아이디어와 논리적 근거, 결과가 상호 연결된 하나의 일관된 주장으로 처리해야 한다. 저자는 고정 크기 분할 대신 콘텐츠의 의미가 유지되는 논리적 경계를 식별하는 방식으로 전환할 것을 제안한다. 이는 섹션 전체나 코드 블록과 설명, 다이어그램과 캡션을 하나의 단위로 유지하는 것을 의미한다.

문서를 파편화된 텍스트 문자열이 아닌 통합된 주장으로 다루는 것은 검색 엔진과 대규모 언어 모델 (LLM)이 원작자가 의도한 추론의 흐름을 유지하도록 돕는다. 인덱싱 단계에서 이러한 구조적 단서를 보존하지 못하면, 쿼리 과정에서 모델이 의도된 의미를 재구성하는 능력이 저하된다.

저자는 검색 엔진이 벡터 유사도에 기반해 관련 세그먼트를 찾더라도, 이것이 곧 완전한 진실을 제공함을 보장하지 않는다고 강조한다. 문서는 의도적인 구성을 통해 만들어지며, 인덱싱 전 구조가 해체되면 관계 데이터의 손실로 인해 모델이 정보 뒤에 숨겨진 '이유'를 파악할 수 없게 된다. 이는 문서의 의미적 무결성을 희생시키면서 인덱싱의 편의성을 추구하는 일반적인 검색 증강 생성 (RAG) 전략의 구조적 결함을 드러낸다.

우리가 흔히 쓰는 AI에게 궁금한 것을 물어보면 자료를 찾아 답해주는 기술을 RAG(검색 증강 생성)라고 합니다. 그런데 이 기술이 때로는 엉뚱한 소리를 합니다. 왜 그럴까요? AI는 문서를 읽을 때 글자 수대로 기계적으로 똑같이 잘라서 저장하기 때문입니다. 요리로 치면 재료를 맛이나 부위 상관없이 무조건 256자 혹은 512자씩 똑같은 크기로만 써는 것과 같습니다. 이렇게 하면 제목은 앞부분에, 내용은 뒷부분에 따로 떨어지게 되어 글의 원래 의미가 산산조각 나버립니다.

중요한 내용이 파편화되면 AI는 답변을 찾기는 해도 내용을 완벽히 이해하지 못합니다. 예를 들어, 코딩 설명서에서 코드는 따로 떼어놓고 설명만 가져온다면 AI는 그 코드가 어떤 기능을 하는지 알 도리가 없습니다. 우리는 글을 읽을 때 소제목을 보고 전체 흐름을 파악하는데, AI는 이런 구조를 무시한 채 단순히 단어들의 유사성만 보고 답변을 만들기 때문입니다. 결과적으로 AI는 자료를 많이 찾아오고도 정작 제대로 된 맥락은 파악하지 못하는 셈입니다.

앞으로는 문서를 단순히 글자 수대로 자르는 방식에서 벗어나야 합니다. 문서를 하나의 완결된 이야기로 보고, 코드는 설명과 함께 묶거나, 하나의 소제목 아래 있는 내용은 통째로 저장하는 방식이 필요합니다. 이렇게 문맥이 살아있는 덩어리로 관리해야 AI도 사람의 의도를 정확히 파악하고 올바른 답변을 내놓을 수 있습니다. 정보의 형식보다 그 안에 담긴 진짜 의미를 소중히 다루는 것이 AI 똑똑하게 만드는 핵심입니다.