세미애널리시스 GDPx, 전문 업무 평가 공개

세미애널리시스(SemiAnalysis)는 2일(현지시간) 기업의 전문 업무 수행 능력을 측정하는 AI 에이전트 벤치마크 GDPx를 공개했습니다. 반도체 설계, 사이버보안, 생물학, 금융, 법률, 소프트웨어 개발, AI 자기 개선(RSI) 등 11개 분야의 206개 과제를 평가하며, 실제 업무 환경을 재현하기 위해 전문 업체 14곳과 협력했습니다. 최첨단 모델의 종합 점수는 최고 12%였습니다.

평가에서 앤트로픽의 클로드 오퍼스 5.5가 12.0%로 1위, 구글 제미나이 4 카본이 10.9%, OpenAI GPT-6 아스트라가 9.6%, 메타 뮤즈 원더 풀이 9.0%를 기록했습니다. 이 점수는 업무 100개 중 해당 수만큼을 완수했다는 뜻이 아니라, 과제별 완전 성공과 부분 점수를 합산한 결과입니다. 각 과제에는 최대 8시간이 주어졌으며, 세 차례 실행한 성적의 평균을 냈습니다.

세미애널리시스는 GDPx의 목적이 종합 지능보다 실제 산업에서 경제적 가치를 창출하는 능력을 재는 데 있다고 밝혔습니다. AI 도입으로 생기는 초기 매출은 직종 전반에 고르게 나타나기보다 자동화 효과가 큰 일부 전문 산업에 집중될 것이라는 판단에 따라, 전체 직업 분포나 국내총생산(GDP) 비중 대신 고부가가치 분야를 골랐습니다. 회사는 결과를 2027~2028년 OpenAI와 앤트로픽의 매출 예측을 위한 자체 분석에도 활용할 계획입니다.

세미애널리시스는 지난해 9월 OpenAI가 공개한 GDPval이 자료와 지시를 미리 제공하고 결과물을 작성하게 하는 데 치중했다고 평가했습니다. 실제 전문가는 방대한 자료에서 필요한 정보를 찾고, 충돌하는 내용을 비교하며, 명시되지 않은 조건도 판단해야 한다는 설명입니다. GDPval은 공개 당시 획기적이었지만 AI 에이전트가 발전한 현재에는 이런 능력을 충분히 측정하기 어렵다고 덧붙였습니다. 또 기존 평가에서 정답이나 채점 기준이 잘못된 사례가 있다며, 자체 품질 검증을 터미널 벤치 4.0에 적용했을 때 전체 과제의 약 50%에서 문제를 발견했다고 주장했습니다.

GDPx는 실제 자료와 프로그램이 포함된 환경에서 과제와 채점 기준의 오류까지 확인하도록 설계됐습니다. 금융 과제 하나는 실제 기업 인수 거래를 바탕으로 약 4000개의 익명화 파일을 갖춘 가상 환경을 구성했습니다. AI는 재무제표, 계약서, 회계자료를 직접 찾아 분석하고 기존 문서의 오류를 수정해야 했습니다. 기업 수익성 분석 과제에서는 25차례 실행 중 완전 성공이 없었고, 가장 높은 성적도 검증 항목 11개 중 8개 통과에 그쳤습니다. 법률 분야 투자계약 수정 과제에서는 4개 모델이 20차례 도전했지만 모두 완료 기준을 충족하지 못했습니다.

분야별 1위는 종합 순위와 달랐습니다. 오퍼스 5.5는 반도체 설계·하드웨어 설계·퀀트 트레이딩, 제미나이 4 카본은 생물학·소프트웨어 개발, GPT-6 아스트라는 AI 자기 개선·재료과학에서 각각 최고 점수를 냈습니다. 아티피셜 애널리시스도 최근 AA 브리프케이스와 프론티어코드 2.0 등 복잡한 업무 평가를 도입했지만, GDPx는 특정 산업의 전문성과 경제적 활용 가능성에 초점을 둡니다. 따라서 GDPx 점수를 기존 종합 지수와 직접 비교해 모델 성능이 낮다고 해석할 수는 없습니다.

평가에는 모델별로 클로드 코드와 코덱스 등 서로 다른 에이전트 실행 환경이 쓰였고, 일부 사이버보안·생물학 과제는 안전장치의 제한을 받았습니다. 일부 과제 내용과 채점 기준은 공개되지 않아 외부에서 전체 결과를 독립적으로 재현하기 어렵습니다. 세미애널리시스는 종합 성능과 전문 분야별 능력, 어려운 문제 해결과 업무를 끝까지 완수하는 능력 사이에 차이가 드러났다고 밝혔습니다.

세미애널리시스(SemiAnalysis)는 2일(현지시간) 기업의 전문 업무 수행 능력을 측정하는 AI 에이전트 벤치마크 GDPx를 공개했습니다. 반도체 설계, 사이버보안, 생물학, 금융, 법률, 소프트웨어 개발, AI 자기 개선(RSI) 등 11개 분야의 206개 과제를 평가하며, 실제 업무 환경을 재현하기 위해 전문 업체 14곳과 협력했습니다. 최첨단 모델의 종합 점수는 최고 12%였습니다.

평가에서 앤트로픽의 클로드 오퍼스 5.5가 12.0%로 1위, 구글 제미나이 4 카본이 10.9%, OpenAI GPT-6 아스트라가 9.6%, 메타 뮤즈 원더 풀이 9.0%를 기록했습니다. 이 점수는 업무 100개 중 해당 수만큼을 완수했다는 뜻이 아니라, 과제별 완전 성공과 부분 점수를 합산한 결과입니다. 각 과제에는 최대 8시간이 주어졌으며, 세 차례 실행한 성적의 평균을 냈습니다.

세미애널리시스는 GDPx의 목적이 종합 지능보다 실제 산업에서 경제적 가치를 창출하는 능력을 재는 데 있다고 밝혔습니다. AI 도입으로 생기는 초기 매출은 직종 전반에 고르게 나타나기보다 자동화 효과가 큰 일부 전문 산업에 집중될 것이라는 판단에 따라, 전체 직업 분포나 국내총생산(GDP) 비중 대신 고부가가치 분야를 골랐습니다. 회사는 결과를 2027~2028년 OpenAI와 앤트로픽의 매출 예측을 위한 자체 분석에도 활용할 계획입니다.

세미애널리시스는 지난해 9월 OpenAI가 공개한 GDPval이 자료와 지시를 미리 제공하고 결과물을 작성하게 하는 데 치중했다고 평가했습니다. 실제 전문가는 방대한 자료에서 필요한 정보를 찾고, 충돌하는 내용을 비교하며, 명시되지 않은 조건도 판단해야 한다는 설명입니다. GDPval은 공개 당시 획기적이었지만 AI 에이전트가 발전한 현재에는 이런 능력을 충분히 측정하기 어렵다고 덧붙였습니다. 또 기존 평가에서 정답이나 채점 기준이 잘못된 사례가 있다며, 자체 품질 검증을 터미널 벤치 4.0에 적용했을 때 전체 과제의 약 50%에서 문제를 발견했다고 주장했습니다.

GDPx는 실제 자료와 프로그램이 포함된 환경에서 과제와 채점 기준의 오류까지 확인하도록 설계됐습니다. 금융 과제 하나는 실제 기업 인수 거래를 바탕으로 약 4000개의 익명화 파일을 갖춘 가상 환경을 구성했습니다. AI는 재무제표, 계약서, 회계자료를 직접 찾아 분석하고 기존 문서의 오류를 수정해야 했습니다. 기업 수익성 분석 과제에서는 25차례 실행 중 완전 성공이 없었고, 가장 높은 성적도 검증 항목 11개 중 8개 통과에 그쳤습니다. 법률 분야 투자계약 수정 과제에서는 4개 모델이 20차례 도전했지만 모두 완료 기준을 충족하지 못했습니다.

분야별 1위는 종합 순위와 달랐습니다. 오퍼스 5.5는 반도체 설계·하드웨어 설계·퀀트 트레이딩, 제미나이 4 카본은 생물학·소프트웨어 개발, GPT-6 아스트라는 AI 자기 개선·재료과학에서 각각 최고 점수를 냈습니다. 아티피셜 애널리시스도 최근 AA 브리프케이스와 프론티어코드 2.0 등 복잡한 업무 평가를 도입했지만, GDPx는 특정 산업의 전문성과 경제적 활용 가능성에 초점을 둡니다. 따라서 GDPx 점수를 기존 종합 지수와 직접 비교해 모델 성능이 낮다고 해석할 수는 없습니다.

평가에는 모델별로 클로드 코드와 코덱스 등 서로 다른 에이전트 실행 환경이 쓰였고, 일부 사이버보안·생물학 과제는 안전장치의 제한을 받았습니다. 일부 과제 내용과 채점 기준은 공개되지 않아 외부에서 전체 결과를 독립적으로 재현하기 어렵습니다. 세미애널리시스는 종합 성능과 전문 분야별 능력, 어려운 문제 해결과 업무를 끝까지 완수하는 능력 사이에 차이가 드러났다고 밝혔습니다.