개발자 알리 아파나(Ali Afana)가 최근 LLM 기반 챗 라우터에서 기만적인 버그를 발견했다. 시스템은 구조적 결함이 발생한 것처럼 보였으나, 실제 검색 라우터는 필요한 데이터를 정확하게 검색하고 있었다.

추가 조사 결과, 프롬프트 내 두 줄의 지시문이 모델에게 제공된 정보를 무시하도록 유도하고 있었음이 밝혀졌다. 이번 문제의 최종 수정 작업은 검색 코드베이스 수정 없이, 단 하나의 변수 라벨을 변경하는 것만으로 완료되었다.

개발자 알리 아파나(Ali Afana)가 최근 LLM 기반 챗 라우터에서 기만적인 버그를 발견했다. 시스템은 구조적 결함이 발생한 것처럼 보였으나, 실제 검색 라우터는 필요한 데이터를 정확하게 검색하고 있었다.

추가 조사 결과, 프롬프트 내 두 줄의 지시문이 모델에게 제공된 정보를 무시하도록 유도하고 있었음이 밝혀졌다. 이번 문제의 최종 수정 작업은 검색 코드베이스 수정 없이, 단 하나의 변수 라벨을 변경하는 것만으로 완료되었다.