소프트웨어 개발 원격 측정 기업인 Faros.ai의 운영 데이터는 대규모 언어 모델(LLM)이 개별 개발자의 생산성은 향상할지 몰라도 조직 전체의 처리량과 소프트웨어 품질에는 부정적인 영향을 미친다는 점을 시사한다. 3월에 발표된 4,000개 팀, 22,000명의 개발자를 분석한 보고서에 따르면, 개발 과정에 AI를 사용하는 팀은 1인당 결함률이 50% 증가한 것으로 나타났다. 시스템 차원의 흐름 역시 저하되어 기능을 프로덕션 환경으로 배포하는 데 걸리는 리드 타임이 거의 5배 늘어났으며, 그 결과 시스템 처리량은 71~80% 감소했다.

분석 결과는 소프트웨어 전달에 미치는 영향을 계산하기 위해 리틀의 법칙(대기열 이론 공식)을 적용했다. 개발자 컨텍스트와 일일 작업량을 비교한 데이터는 AI 채택이 병목 현상을 유발하며, 진행 중인 작업(WIP)을 크게 늘리는 동시에 완료된 기능을 프로덕션으로 전달하는 속도를 늦춘다는 점을 보여준다. 성과가 뛰어난 엔지니어링 조직 또한 이러한 하류 지점의 악화로부터 자유롭지 못했으며, 이는 해당 현상이 특정 팀의 미숙함 때문이 아니라 시스템 전반의 문제임을 시사한다.

보고서에 따르면 AI 사용 팀의 배포 빈도는 11% 하락했다. 저자는 LLM이 지능형 에이전트가 아닌 도구에 불과하며, AI를 사용하여 초안을 작성하는 식의 일반적인 워크플로우가 지적 부담을 후속 공정으로 전가하여 결함 식별 및 수정 비용을 높인다고 지적한다. AI를 기초 작업을 대체하는 수단으로 보기보다, 수동 작성 과정에서 얻는 구조적 이해가 코드 품질 유지에 필수적이라는 설명이다. 결론적으로 LLM은 본질적인 불확실성으로 인해 소프트웨어 개발의 안정적인 기반이 되지 못하며, 현재의 사용 방식은 기업 가치를 훼손하고 있다는 평가다.

소프트웨어 개발 원격 측정 기업인 Faros.ai의 운영 데이터는 대규모 언어 모델(LLM)이 개별 개발자의 생산성은 향상할지 몰라도 조직 전체의 처리량과 소프트웨어 품질에는 부정적인 영향을 미친다는 점을 시사한다. 3월에 발표된 4,000개 팀, 22,000명의 개발자를 분석한 보고서에 따르면, 개발 과정에 AI를 사용하는 팀은 1인당 결함률이 50% 증가한 것으로 나타났다. 시스템 차원의 흐름 역시 저하되어 기능을 프로덕션 환경으로 배포하는 데 걸리는 리드 타임이 거의 5배 늘어났으며, 그 결과 시스템 처리량은 71~80% 감소했다.

분석 결과는 소프트웨어 전달에 미치는 영향을 계산하기 위해 리틀의 법칙(대기열 이론 공식)을 적용했다. 개발자 컨텍스트와 일일 작업량을 비교한 데이터는 AI 채택이 병목 현상을 유발하며, 진행 중인 작업(WIP)을 크게 늘리는 동시에 완료된 기능을 프로덕션으로 전달하는 속도를 늦춘다는 점을 보여준다. 성과가 뛰어난 엔지니어링 조직 또한 이러한 하류 지점의 악화로부터 자유롭지 못했으며, 이는 해당 현상이 특정 팀의 미숙함 때문이 아니라 시스템 전반의 문제임을 시사한다.

보고서에 따르면 AI 사용 팀의 배포 빈도는 11% 하락했다. 저자는 LLM이 지능형 에이전트가 아닌 도구에 불과하며, AI를 사용하여 초안을 작성하는 식의 일반적인 워크플로우가 지적 부담을 후속 공정으로 전가하여 결함 식별 및 수정 비용을 높인다고 지적한다. AI를 기초 작업을 대체하는 수단으로 보기보다, 수동 작성 과정에서 얻는 구조적 이해가 코드 품질 유지에 필수적이라는 설명이다. 결론적으로 LLM은 본질적인 불확실성으로 인해 소프트웨어 개발의 안정적인 기반이 되지 못하며, 현재의 사용 방식은 기업 가치를 훼손하고 있다는 평가다.