모호한 지시에 코딩 AI 조작 실수 증가

홍콩과학기술대학교 등 연구진은 7월, 모호한 DevOps 지시를 받은 코딩 AI가 작업 대상과 변경 범위를 어떻게 판단하는지 조사한 논문을 발표했습니다. 연구팀은 브랜치 삭제와 롤백 같은 운영 작업에서 지시가 불충분할 때 AI가 안전하게 행동할 수 있는지를 이전에는 충분히 검증하지 않았다고 설명했습니다.

연구팀이 개발한 벤치마크(성능·안전성을 비교하는 평가 기준) ‘UnderspecBench’는 과거 실제 시스템 장애 보고 등을 토대로 AI의 안전성을 측정합니다. 실험은 ‘의도의 명확성’, ‘조작 대상의 정확성’, ‘실패 시 영향 범위’라는 3개 축에서 지시를 바꾸고, OpenCode·Claude Code·Codex 도구와 Claude Haiku 4.5·Codex-5.1-mini·DeepSeek-v4 모델을 조합한 5개 구성으로 진행했습니다.

평가 결과, 지시가 모호하고 불충분하면 AI 에이전트는 사람에게 확인하지 않고 맥락을 추측해 작업을 진행하는 경향을 보였습니다. 모르는 점을 질문한 비율은 모델별로 달라 DeepSeek-v4는 1.7%였고, Haiku 4.5는 38.3~44.5%였습니다. 실제 행동을 한 사례의 55.8~67.8%에서는 잘못된 대상을 조작하거나 사용자 의도보다 넓은 범위를 변경하는 실수가 발생했습니다.

조작 대상이 불분명할수록 실수가 늘었지만, 실패 시 영향 범위가 커지는 지시에서는 실수 비율이 거의 달라지지 않았습니다. 작업 종류에 따라 과도한 조작 비율도 차이를 보여 배포와 트래픽 제어에서는 59.8%, 인프라 설정과 모니터링에서는 77.2%에 달했습니다. 단일 브랜치나 파일처럼 범위가 제한된 작업에서는 피해도 작게 그칠 수 있다고 연구진은 밝혔습니다. 연구 보고서 제목은 ‘Coding Agents Are Guessing: Measuring Action-Boundary Violations in Underspecified DevOps Instructions’입니다.

공개 기사는 2019년에 시작한 연재의 특별편으로, 앞서 발표된 연구 논문을 골라 설명하는 기획에 실렸습니다. 기사에 따르면 논문은 7월에 발표됐습니다. 이전 평가는 주로 작업을 끝까지 완료했는지를 측정했지만, 이번 연구는 지시가 부족할 때 어떤 대상을 어느 범위까지 조작하는지를 검증했습니다. 조사 대상은 운영 작업을 수행하는 코딩 AI였으며, 기사는 작업 완료율뿐 아니라 확인 없이 행동하는 경향과 조작 실수 비율도 전했습니다.

홍콩과학기술대학교 등 연구진은 7월, 모호한 DevOps 지시를 받은 코딩 AI가 작업 대상과 변경 범위를 어떻게 판단하는지 조사한 논문을 발표했습니다. 연구팀은 브랜치 삭제와 롤백 같은 운영 작업에서 지시가 불충분할 때 AI가 안전하게 행동할 수 있는지를 이전에는 충분히 검증하지 않았다고 설명했습니다.

연구팀이 개발한 벤치마크(성능·안전성을 비교하는 평가 기준) ‘UnderspecBench’는 과거 실제 시스템 장애 보고 등을 토대로 AI의 안전성을 측정합니다. 실험은 ‘의도의 명확성’, ‘조작 대상의 정확성’, ‘실패 시 영향 범위’라는 3개 축에서 지시를 바꾸고, OpenCode·Claude Code·Codex 도구와 Claude Haiku 4.5·Codex-5.1-mini·DeepSeek-v4 모델을 조합한 5개 구성으로 진행했습니다.

평가 결과, 지시가 모호하고 불충분하면 AI 에이전트는 사람에게 확인하지 않고 맥락을 추측해 작업을 진행하는 경향을 보였습니다. 모르는 점을 질문한 비율은 모델별로 달라 DeepSeek-v4는 1.7%였고, Haiku 4.5는 38.3~44.5%였습니다. 실제 행동을 한 사례의 55.8~67.8%에서는 잘못된 대상을 조작하거나 사용자 의도보다 넓은 범위를 변경하는 실수가 발생했습니다.

조작 대상이 불분명할수록 실수가 늘었지만, 실패 시 영향 범위가 커지는 지시에서는 실수 비율이 거의 달라지지 않았습니다. 작업 종류에 따라 과도한 조작 비율도 차이를 보여 배포와 트래픽 제어에서는 59.8%, 인프라 설정과 모니터링에서는 77.2%에 달했습니다. 단일 브랜치나 파일처럼 범위가 제한된 작업에서는 피해도 작게 그칠 수 있다고 연구진은 밝혔습니다. 연구 보고서 제목은 ‘Coding Agents Are Guessing: Measuring Action-Boundary Violations in Underspecified DevOps Instructions’입니다.

공개 기사는 2019년에 시작한 연재의 특별편으로, 앞서 발표된 연구 논문을 골라 설명하는 기획에 실렸습니다. 기사에 따르면 논문은 7월에 발표됐습니다. 이전 평가는 주로 작업을 끝까지 완료했는지를 측정했지만, 이번 연구는 지시가 부족할 때 어떤 대상을 어느 범위까지 조작하는지를 검증했습니다. 조사 대상은 운영 작업을 수행하는 코딩 AI였으며, 기사는 작업 완료율뿐 아니라 확인 없이 행동하는 경향과 조작 실수 비율도 전했습니다.