손실 없는 구조 인식 압축 도구인 ctxfold의 개발자 Maverick Y는 최근 자체 가독성 벤치마크 결과를 공개했다. 기존에 CSV 파일에서 30~45%의 문자 감소를 달성했다고 주장했던 이 도구는 GPT-4o-mini를 활용한 데이터 조회 작업에서 24개 문항 중 0개를 맞히는 데 그쳤다. 동일한 작업에서 원본 CSV 데이터는 24개 모두 정답을 도출했으나, 압축된 버전은 행 식별자와 데이터 값을 제대로 재구성하지 못하는 현상이 반복됐다. 보다 고성능인 GPT-4o에서도 해당 압축 방식은 6/24 및 9/24라는 낮은 정확도를 보였다.

이러한 가독성 저하는 파일 유형별 압축 방식 차이에서 기인했다. JSON이나 로그 형식의 경우 키나 괄호 같은 구문 요소만 헤더로 추출하여 모델이 직접 내용을 읽을 수 있도록 했으나, 구조적 구문이 부족한 CSV는 값 내부의 중복된 접두사('NW-', 'WH-' 등)를 제거하는 방식을 사용했다. 이로 인해 모델은 데이터를 직관적으로 읽는 대신 헤더에 정의된 규칙에 따라 값을 재구성해야 하는 간접적인 경로를 거치게 되었고, 이는 모델의 안정적인 처리를 저해하는 결과를 낳았다.

이에 대응해 개발자는 0.1.4 버전을 통해 CSV 압축 시 프롬프트 생성 전 압축을 해제하도록 전략을 변경했다. 또한 0.2.0 버전에서는 --profile 기능을 새로 추가하여 압축 전 입력 데이터를 분석한다. 이 기능은 데이터를 키, 구문, 값, 공백으로 분류하여 파일 구조에 따른 압축 최적화 여부를 사용자에게 안내한다. 개발자는 모델 성능에 대한 투명성을 확보하고자 테스트 도구 전체를 GitHub 저장소에 공개했다.

손실 없는 구조 인식 압축 도구인 ctxfold의 개발자 Maverick Y는 최근 자체 가독성 벤치마크 결과를 공개했다. 기존에 CSV 파일에서 30~45%의 문자 감소를 달성했다고 주장했던 이 도구는 GPT-4o-mini를 활용한 데이터 조회 작업에서 24개 문항 중 0개를 맞히는 데 그쳤다. 동일한 작업에서 원본 CSV 데이터는 24개 모두 정답을 도출했으나, 압축된 버전은 행 식별자와 데이터 값을 제대로 재구성하지 못하는 현상이 반복됐다. 보다 고성능인 GPT-4o에서도 해당 압축 방식은 6/24 및 9/24라는 낮은 정확도를 보였다.

이러한 가독성 저하는 파일 유형별 압축 방식 차이에서 기인했다. JSON이나 로그 형식의 경우 키나 괄호 같은 구문 요소만 헤더로 추출하여 모델이 직접 내용을 읽을 수 있도록 했으나, 구조적 구문이 부족한 CSV는 값 내부의 중복된 접두사('NW-', 'WH-' 등)를 제거하는 방식을 사용했다. 이로 인해 모델은 데이터를 직관적으로 읽는 대신 헤더에 정의된 규칙에 따라 값을 재구성해야 하는 간접적인 경로를 거치게 되었고, 이는 모델의 안정적인 처리를 저해하는 결과를 낳았다.

이에 대응해 개발자는 0.1.4 버전을 통해 CSV 압축 시 프롬프트 생성 전 압축을 해제하도록 전략을 변경했다. 또한 0.2.0 버전에서는 --profile 기능을 새로 추가하여 압축 전 입력 데이터를 분석한다. 이 기능은 데이터를 키, 구문, 값, 공백으로 분류하여 파일 구조에 따른 압축 최적화 여부를 사용자에게 안내한다. 개발자는 모델 성능에 대한 투명성을 확보하고자 테스트 도구 전체를 GitHub 저장소에 공개했다.