LLM 에이전트, 백엔드 코드 생성 제약 조건 처리 난항
arXiv
2026년 5월 25일 (월)
- •LLM 에이전트가 복잡한 다중 파일 백엔드 코드 생성 작업 시 제약 조건 준수율이 크게 하락한다.
- •구조적 요구사항이 증가함에 따라 총 100건의 생성 작업에서 어설션 통과율이 30포인트 하락했다.
- •에이전트 실패의 주된 원인은 ORM 위반 및 부정확한 쿼리 등 데이터 계층에서의 오류로 밝혀졌다.
프란체스코 덴테(Francesco Dente), 다리오 사트리아니(Dario Satriani), 파올로 파포티(Paolo Papotti) 연구진은 2026년 5월 7일, LLM 에이전트가 백엔드 코드 생성 시 겪는 '제약 조건 저하(constraint decay)' 현상을 다룬 연구를 발표했다. 에이전트는 단순 작업에는 뛰어난 성능을 보이지만, 아키텍처 패턴이나 데이터베이스 매핑과 같은 엄격한 구조적 제약을 준수해야 할 때는 효율성이 급격히 떨어진다. 연구진은 8개의 웹 프레임워크를 활용하여 80건의 신규 코드 생성 작업과 20건의 기능 구현 작업을 대상으로 에이전트 성능을 평가했다.
연구 결과에 따르면, 기본 사양에서 상세한 구조적 요구사항이 추가될 때 에이전트의 어설션 통과율은 평균 30포인트 감소했으며, 일부 설정에서는 거의 0에 가까운 수치를 보였다. 특히 프레임워크의 환경에 따라 성능 편차가 크게 나타났다. 장고(Django)나 FastAPI와 같이 규칙이 많은 프레임워크에서 에이전트는 플라스크(Flask)처럼 구조가 명시적이고 간결한 환경보다 더 큰 어려움을 겪는 것으로 확인됐다.
오류 분석 결과, 잘못된 쿼리 구성이나 ORM 런타임 위반과 같은 데이터 계층의 결함이 에이전트 실패의 주요 원인으로 지목되었다. 이번 연구는 현재의 자율 코딩 에이전트가 기능적 요구사항과 엄격한 구조적 규칙 사이에서 균형을 잡는 데 여전히 큰 기술적 장벽을 안고 있음을 시사한다.