코딩 AI 평가서 최고 점수도 45.5%

코그니션은 지난달 27일 공식 블로그에서 실제 소프트웨어 개발 환경을 반영한 코딩 평가 도구 ‘프론티어코드 2.0’을 공개했습니다. 개발자가 AI의 수정 결과를 검토한 뒤 기존 프로젝트에 반영할 수 있는지를 평가하며, 기존 벤치마크가 주로 코드의 기능적 정확성을 따진 것과 차이가 있습니다. 코그니션은 기존 평가 점수가 빠르게 높아지는 반면 실제 개발 현장의 한계를 충분히 보여주지 못한다고 지적했습니다.

평가에는 실제 오픈소스 프로젝트를 활용한 132개 과제가 포함됐습니다. 보안 취약점 수정과 성능 최적화 같은 복잡한 작업을 넣었고, 이전 버전보다 대상 프로젝트와 수정 코드의 규모도 키웠습니다. 필수 조건을 충족하지 못하면 해당 과제에서 점수를 받지 못하도록 기준을 설정했습니다.

공식 리더보드 1위는 클로드 오퍼스 5.5로 45.5%를 기록했습니다. GPT-6 아스트라는 42.8%, 클로드 소네트 5.5는 41.0%, 제미나이 4 카본은 40.0%, GPT-6.1 솔은 39.0%였습니다. 주요 AI 코딩 모델 모두 50%에 미치지 못했습니다. 프론티어코드 1.1에서는 오퍼스 5.5가 54.6%, GPT-6 아스트라가 53.3%였지만, 코그니션은 점수 하락이 모델 성능 저하 때문이 아니라 과제가 복잡해지고 코드 품질 요구가 높아진 데 따른 것이라고 설명했습니다.

가장 취약한 항목은 ‘완결성’이었습니다. 이는 지시된 기능만 구현하는 데 그치지 않고 기존 코드와 개발 맥락을 살펴 명시되지 않은 요구까지 처리했는지를 평가합니다. 주요 모델 4종에서 완결성 관련 필수 항목의 실패율은 19.2%로 핵심 기능 구현 실패율 14.9%보다 높았습니다. 추론 수준을 최대로 높여도 완결성 실패율은 15.3%였습니다.

사례로 자바스크립트 라이브러리 목 서비스 워커의 오류 수정 과제에서 오퍼스 5.5는 특정 기능을 초기화하는 오류는 고쳤지만, 기존 작업을 정상 종료하는 과정은 빠뜨렸습니다. 이로 인해 불필요한 자원이 남거나 프로그램이 불안정해질 가능성이 생겼습니다. 오퍼스 5.5는 다섯 가지 추론 설정에서 각각 5차례, 총 25차례 수행했지만 모든 작업이 평가 기준을 통과하지 못했습니다. 코그니션은 이를 단순한 코딩 실수보다 작업 전체의 맥락을 이해하는 능력과 관련된 문제로 분석했습니다.

추론 자원을 더 투입해도 코드 품질이 좋아지는 것은 아니었습니다. 코그니션은 모델이 불필요하게 많은 파일을 수정하거나 기존 설계를 크게 바꾸는 경우를 확인했습니다. GPT-6 아스트라는 모바일 분석 소프트웨어 포스트호그의 데이터 전송 순서 문제를 낮은 추론 수준에서 5차례 모두 해결했지만, 최대 추론 수준에서는 5차례 중 1차례만 성공했습니다. 해결 과정에서 공개된 프로그램 인터페이스를 삭제해 다른 프로그램과의 호환성을 깨뜨렸습니다.

코그니션은 AI가 독립적인 소프트웨어 개발자로 기능하려면 불완전한 요구를 해석하고 기존 프로젝트의 제약까지 파악해야 한다고 강조했습니다. 실제 개발에서는 문제 해결에 필요한 변경 범위를 판단하고 기존 기능을 유지하며 부작용을 막는 능력도 중요하다고 밝혔습니다.

코그니션은 지난달 27일 공식 블로그에서 실제 소프트웨어 개발 환경을 반영한 코딩 평가 도구 ‘프론티어코드 2.0’을 공개했습니다. 개발자가 AI의 수정 결과를 검토한 뒤 기존 프로젝트에 반영할 수 있는지를 평가하며, 기존 벤치마크가 주로 코드의 기능적 정확성을 따진 것과 차이가 있습니다. 코그니션은 기존 평가 점수가 빠르게 높아지는 반면 실제 개발 현장의 한계를 충분히 보여주지 못한다고 지적했습니다.

평가에는 실제 오픈소스 프로젝트를 활용한 132개 과제가 포함됐습니다. 보안 취약점 수정과 성능 최적화 같은 복잡한 작업을 넣었고, 이전 버전보다 대상 프로젝트와 수정 코드의 규모도 키웠습니다. 필수 조건을 충족하지 못하면 해당 과제에서 점수를 받지 못하도록 기준을 설정했습니다.

공식 리더보드 1위는 클로드 오퍼스 5.5로 45.5%를 기록했습니다. GPT-6 아스트라는 42.8%, 클로드 소네트 5.5는 41.0%, 제미나이 4 카본은 40.0%, GPT-6.1 솔은 39.0%였습니다. 주요 AI 코딩 모델 모두 50%에 미치지 못했습니다. 프론티어코드 1.1에서는 오퍼스 5.5가 54.6%, GPT-6 아스트라가 53.3%였지만, 코그니션은 점수 하락이 모델 성능 저하 때문이 아니라 과제가 복잡해지고 코드 품질 요구가 높아진 데 따른 것이라고 설명했습니다.

가장 취약한 항목은 ‘완결성’이었습니다. 이는 지시된 기능만 구현하는 데 그치지 않고 기존 코드와 개발 맥락을 살펴 명시되지 않은 요구까지 처리했는지를 평가합니다. 주요 모델 4종에서 완결성 관련 필수 항목의 실패율은 19.2%로 핵심 기능 구현 실패율 14.9%보다 높았습니다. 추론 수준을 최대로 높여도 완결성 실패율은 15.3%였습니다.

사례로 자바스크립트 라이브러리 목 서비스 워커의 오류 수정 과제에서 오퍼스 5.5는 특정 기능을 초기화하는 오류는 고쳤지만, 기존 작업을 정상 종료하는 과정은 빠뜨렸습니다. 이로 인해 불필요한 자원이 남거나 프로그램이 불안정해질 가능성이 생겼습니다. 오퍼스 5.5는 다섯 가지 추론 설정에서 각각 5차례, 총 25차례 수행했지만 모든 작업이 평가 기준을 통과하지 못했습니다. 코그니션은 이를 단순한 코딩 실수보다 작업 전체의 맥락을 이해하는 능력과 관련된 문제로 분석했습니다.

추론 자원을 더 투입해도 코드 품질이 좋아지는 것은 아니었습니다. 코그니션은 모델이 불필요하게 많은 파일을 수정하거나 기존 설계를 크게 바꾸는 경우를 확인했습니다. GPT-6 아스트라는 모바일 분석 소프트웨어 포스트호그의 데이터 전송 순서 문제를 낮은 추론 수준에서 5차례 모두 해결했지만, 최대 추론 수준에서는 5차례 중 1차례만 성공했습니다. 해결 과정에서 공개된 프로그램 인터페이스를 삭제해 다른 프로그램과의 호환성을 깨뜨렸습니다.

코그니션은 AI가 독립적인 소프트웨어 개발자로 기능하려면 불완전한 요구를 해석하고 기존 프로젝트의 제약까지 파악해야 한다고 강조했습니다. 실제 개발에서는 문제 해결에 필요한 변경 범위를 판단하고 기존 기능을 유지하며 부작용을 막는 능력도 중요하다고 밝혔습니다.