구글, 코딩 에이전트의 TODO 방해 효과 측정

구글 엔지니어들은 코드에 삽입된 TODO(bug/...)와 FIXME(bug/...) 주석이 코딩 에이전트를 관련 없는 작업으로 이끌 수 있다고 밝혔습니다. 에이전트가 작업을 계획하고 조사하면서 파일을 읽을 때, 오래된 명세나 해결된 버그, 낡은 문서가 잘못된 구현 판단을 유도할 수 있습니다. 연구진은 매달 수백만 건의 세션에서 문제를 측정하기 위해 버그에 연결된 TODO를 대리 지표로 삼고, 각 티켓의 상태와 개발자 프롬프트를 확인해 요청되지 않은 우회 작업을 판별했습니다.

수천 명의 엔지니어와 수억 건의 에이전트 단계에서, 파일을 읽은 세션의 13%는 버그 연결 TODO 또는 FIXME를 마주쳤습니다. 에이전트는 해당 주석의 94%를 무시했지만, 나머지 접촉 사례의 6%에서는 연결된 버그에 후속 조치를 했으며, 이 조치의 83%는 요청되지 않은 것이었습니다. 요청 밖의 작업 가운데 41%는 종료된 티켓을 쫓았습니다. 그중 32%는 이미 수정 또는 확인됐고, 9%는 오래됐거나 ‘수정하지 않음’으로 표시됐으며, 2%는 중복이거나 접근 제한 상태였습니다. 57%에서는 티켓이 계속 열려 있었고 에이전트가 작업을 확대했습니다. 이 조치의 61%는 이슈 조회, 39%는 코드 수정이었습니다.

개발자, 코드베이스 복잡성, 작업 유형, 모델 등급, 읽은 파일 수, 프롬프트 길이, 주석이 나타난 시점을 통제한 분석에서, 요청되지 않은 버그 우회 작업은 세션당 단계 70%, 토큰 77%, 대기 시간 105% 증가와 연관됐습니다. 모든 결과는 통계적으로 유의했으며 p<0.0001이었습니다. 사례로는 2023년에 이미 수정된 버그를 에이전트가 조사한 경우와, TODO를 발견한 뒤 ModelDownloaderV1을 변경한 경우가 있었습니다. 후자의 경우 사람 검토자가 추가된 작업 범위에 나중에 이의를 제기했습니다.

구글은 코드베이스에서 수정됐거나 오래된 버그를 가리키는 주석을 찾는 에이전트를 만들었다고 밝혔습니다. 정리 시스템은 삭제를 제안하기 전에 버그와 파일의 이력, 코드 변경을 살폈으며, 주석과 그 의도가 더는 유효하지 않은지 확인하기 위해 때로는 수년에 걸친 기록도 검토했습니다. 지난 6개월 동안 확인된 오래된 참조 수천 건을 제거했고, 사람 검토자들은 변경 사항의 95% 이상을 승인했습니다. 구글은 사전 제출 분석기, 코드 모음 스캐너, 자동 정리 에이전트를 오래된 TODO로 인한 방해를 줄이는 도구로 제시했습니다.

구글 엔지니어들은 코드에 삽입된 TODO(bug/...)와 FIXME(bug/...) 주석이 코딩 에이전트를 관련 없는 작업으로 이끌 수 있다고 밝혔습니다. 에이전트가 작업을 계획하고 조사하면서 파일을 읽을 때, 오래된 명세나 해결된 버그, 낡은 문서가 잘못된 구현 판단을 유도할 수 있습니다. 연구진은 매달 수백만 건의 세션에서 문제를 측정하기 위해 버그에 연결된 TODO를 대리 지표로 삼고, 각 티켓의 상태와 개발자 프롬프트를 확인해 요청되지 않은 우회 작업을 판별했습니다.

수천 명의 엔지니어와 수억 건의 에이전트 단계에서, 파일을 읽은 세션의 13%는 버그 연결 TODO 또는 FIXME를 마주쳤습니다. 에이전트는 해당 주석의 94%를 무시했지만, 나머지 접촉 사례의 6%에서는 연결된 버그에 후속 조치를 했으며, 이 조치의 83%는 요청되지 않은 것이었습니다. 요청 밖의 작업 가운데 41%는 종료된 티켓을 쫓았습니다. 그중 32%는 이미 수정 또는 확인됐고, 9%는 오래됐거나 ‘수정하지 않음’으로 표시됐으며, 2%는 중복이거나 접근 제한 상태였습니다. 57%에서는 티켓이 계속 열려 있었고 에이전트가 작업을 확대했습니다. 이 조치의 61%는 이슈 조회, 39%는 코드 수정이었습니다.

개발자, 코드베이스 복잡성, 작업 유형, 모델 등급, 읽은 파일 수, 프롬프트 길이, 주석이 나타난 시점을 통제한 분석에서, 요청되지 않은 버그 우회 작업은 세션당 단계 70%, 토큰 77%, 대기 시간 105% 증가와 연관됐습니다. 모든 결과는 통계적으로 유의했으며 p<0.0001이었습니다. 사례로는 2023년에 이미 수정된 버그를 에이전트가 조사한 경우와, TODO를 발견한 뒤 ModelDownloaderV1을 변경한 경우가 있었습니다. 후자의 경우 사람 검토자가 추가된 작업 범위에 나중에 이의를 제기했습니다.

구글은 코드베이스에서 수정됐거나 오래된 버그를 가리키는 주석을 찾는 에이전트를 만들었다고 밝혔습니다. 정리 시스템은 삭제를 제안하기 전에 버그와 파일의 이력, 코드 변경을 살폈으며, 주석과 그 의도가 더는 유효하지 않은지 확인하기 위해 때로는 수년에 걸친 기록도 검토했습니다. 지난 6개월 동안 확인된 오래된 참조 수천 건을 제거했고, 사람 검토자들은 변경 사항의 95% 이상을 승인했습니다. 구글은 사전 제출 분석기, 코드 모음 스캐너, 자동 정리 에이전트를 오래된 TODO로 인한 방해를 줄이는 도구로 제시했습니다.