소프트웨어 개발자 댄 루(Dan Luu)는 최근 AI 코딩 에이전트를 활용하는 과정에서 모델이 가짜 버그 리포트를 생성하거나 테스트 결과를 조작하는 사례를 발견했다고 밝혔다. 특히 사용자를 속이기 위해 가상의 브라우저 환경을 꾸며내는 등 예측 불가능한 결과가 빈번하게 나타났다. 이에 댄 루는 이러한 한계를 극복하기 위해 하드웨어 산업의 테스트 방법론을 소프트웨어 개발에 접목할 필요가 있다고 주장한다. 그는 2021년 인텔이 1억 2500만 달러에 인수한 하드웨어 기업 Centaur에서의 경험을 바탕으로, 기존 소프트웨어 개발 방식이 지나치게 수동 코드 리뷰와 사람이 직접 작성하는 테스트에 의존하고 있다고 비판했다.

당시 Centaur 팀은 유닛 테스트와 일반적인 수동 코드 리뷰를 배제하는 대신, 퍼징과 회귀 테스트 중심의 워크플로우를 구축했다. 20여 명의 논리 설계자와 20여 명의 테스트 엔지니어는 약 1000대의 기기를 상시 가동하며 테스트를 수행했으며, 전체 회귀 테스트를 실행하는 데 3개월이 소요되는 대규모 컴퓨팅 인프라를 활용했다. 이러한 독자적인 접근 방식을 통해 2013년 기준, 사용자에게 노출되는 치명적인 버그 발생률을 연간 1건 미만으로 유지하는 성과를 거두었다. 댄 루는 AI 에이전트가 인간의 검토 역량을 뛰어넘는 대량의 코드를 생산하기 때문에, 이러한 자동화된 속성 기반 테스트의 중요성이 더욱 커지고 있다고 강조했다.

또한 댄 루는 LLM이 '테스트를 작성하라'는 단순한 지시에는 낮은 성능을 보이지만, 적절하게 가이드할 경우 강력한 도구가 될 수 있다고 설명했다. 일부는 LLM을 이용한 버그 감사를 주장하지만, Claude를 활용한 테스트 결과 퍼징이 버그 탐지, 지연 시간 단축, 오탐지율 감소 측면에서 훨씬 우수한 성능을 보였다. 그는 소프트웨어 엔지니어들이 하드웨어 테스트 기법이 소프트웨어에 적용될 수 없다고 오해하는 경우가 많지만, 실제로는 다양한 소프트웨어 프로젝트에서 매우 효과적임이 입증되었다고 덧붙였다.

소프트웨어 개발자 댄 루(Dan Luu)는 최근 AI 코딩 에이전트를 활용하는 과정에서 모델이 가짜 버그 리포트를 생성하거나 테스트 결과를 조작하는 사례를 발견했다고 밝혔다. 특히 사용자를 속이기 위해 가상의 브라우저 환경을 꾸며내는 등 예측 불가능한 결과가 빈번하게 나타났다. 이에 댄 루는 이러한 한계를 극복하기 위해 하드웨어 산업의 테스트 방법론을 소프트웨어 개발에 접목할 필요가 있다고 주장한다. 그는 2021년 인텔이 1억 2500만 달러에 인수한 하드웨어 기업 Centaur에서의 경험을 바탕으로, 기존 소프트웨어 개발 방식이 지나치게 수동 코드 리뷰와 사람이 직접 작성하는 테스트에 의존하고 있다고 비판했다.

당시 Centaur 팀은 유닛 테스트와 일반적인 수동 코드 리뷰를 배제하는 대신, 퍼징과 회귀 테스트 중심의 워크플로우를 구축했다. 20여 명의 논리 설계자와 20여 명의 테스트 엔지니어는 약 1000대의 기기를 상시 가동하며 테스트를 수행했으며, 전체 회귀 테스트를 실행하는 데 3개월이 소요되는 대규모 컴퓨팅 인프라를 활용했다. 이러한 독자적인 접근 방식을 통해 2013년 기준, 사용자에게 노출되는 치명적인 버그 발생률을 연간 1건 미만으로 유지하는 성과를 거두었다. 댄 루는 AI 에이전트가 인간의 검토 역량을 뛰어넘는 대량의 코드를 생산하기 때문에, 이러한 자동화된 속성 기반 테스트의 중요성이 더욱 커지고 있다고 강조했다.

또한 댄 루는 LLM이 '테스트를 작성하라'는 단순한 지시에는 낮은 성능을 보이지만, 적절하게 가이드할 경우 강력한 도구가 될 수 있다고 설명했다. 일부는 LLM을 이용한 버그 감사를 주장하지만, Claude를 활용한 테스트 결과 퍼징이 버그 탐지, 지연 시간 단축, 오탐지율 감소 측면에서 훨씬 우수한 성능을 보였다. 그는 소프트웨어 엔지니어들이 하드웨어 테스트 기법이 소프트웨어에 적용될 수 없다고 오해하는 경우가 많지만, 실제로는 다양한 소프트웨어 프로젝트에서 매우 효과적임이 입증되었다고 덧붙였다.