기업 AI 모델 교체, 69%가 몇 주 이상 소요

벤처비트는 12일(현지시간) 벤처비트 인텔리전스가 10월에 실시한 설문 결과를 공개했습니다. 직원 100명 이상 기업의 AI 담당자와 컨설턴트 등 100명 가운데 47%는 지난 12개월 동안 기존 애플리케이션을 유지한 채 실제 운영 중인 AI 모델을 교체한 경험이 있다고 답했습니다. 교체 소요 시간에 답한 45명 중 69%는 모델 변경 자체를 뺀 엔지니어링 작업에 몇 주 이상이 걸렸다고 밝혔고, 36%는 한 달 넘게 걸렸습니다. 설정만 바꾸면 돼 별도 작업이 거의 없었다는 응답은 13%였습니다.

교체 결과가 기존 모델과 같거나 더 나았다는 응답은 약 55%였으며, 나머지 약 45%는 성능 저하를 겪어 애플리케이션을 수정하거나 기존 모델로 돌아갔습니다. 프롬프트와 도구 사용 방식, 테스트 절차가 기존 모델에 맞춰져 있어 모델을 바꾸면 같은 작업에서도 결과가 달라질 수 있습니다. Box의 벤 쿠스 CTO는 모델에 지시를 전달하고 도구와 작업 순서를 제어하는 코드인 하네스가 실제 성능에 큰 영향을 준다고 설명했습니다. Box는 모델만 따로 비교하지 않고 실제 하네스와 결합해 정확도와 비용, 속도를 평가합니다.

소형 모델은 하네스에 따라 코딩 에이전트 평가 점수가 20~40점 차이 날 수 있다고 아티피셜 애널리시스의 마이카 힐스미스 CEO가 밝혔습니다. 저렴한 모델을 도입할 때는 기존 대형 모델에 맞춘 실행 환경도 수정해야 할 수 있습니다. 업워크의 수단슈 비스트 부사장은 실행당 10센트인 모델의 성공률이 20%라면 작업 완료까지 평균 5회 실행해 총 50센트가 들 수 있다고 설명했습니다. 반면 실행당 30센트인 모델의 성공률이 90%라면 평균 비용은 33센트입니다. 이 계산은 실패한 작업을 다시 시도한다고 가정하며, 기업은 토큰 가격보다 작업을 성공적으로 끝내는 총비용을 비교해야 합니다. 업워크는 반복적이고 명확한 업무에는 소형 모델을, 복잡하고 개방적인 작업에는 대형 모델을 사용합니다.

페이팔은 업무 정의와 승인된 데이터 조회 방식, 분석 절차를 담은 지식 계층을 내부 데이터 분석 비서에 추가했습니다. 모델을 교체하지 않고 이 계층만 더해 내부 업무 질문의 정확도를 43%에서 95%로 높였다고 밝혔습니다. 렌 장 AI 제품 총괄 부사장은 기업 지식이 특정 모델에 종속되지 않도록 설계해 새 모델을 도입할 때 업무 지식과 절차를 다시 구축하지 않게 하려는 것이라고 설명했습니다. 우버는 과거 코드 변경 사례로 평가 데이터를 만들고 자동 코드 정리 작업에 적합한 모델을 골라 작업당 비용을 90% 낮췄다고 밝혔습니다. 평가 체계를 갖춘 일부 AI 에이전트는 며칠 만에 모델을 교체할 수 있지만, 개발자용 코딩 도구는 작업 방식까지 바뀌어 더 어렵다고 했습니다.

T모바일은 고객 통화에 기존 AI 시스템과 새 버전을 동시에 적용해 결과를 비교하고, 개선이 확인될 때만 새 버전 사용을 늘립니다. 출시 뒤에도 소형 모델로 대화와 음성 세션의 잘못된 답변을 탐지합니다. 전문가들은 실제 사용자 요청으로 평가 데이터를 만들고, 사용할 하네스 환경에서 성능을 검증하며, 실패한 작업과 사람의 수정 비용까지 포함해 경제성을 비교해야 한다고 말했습니다. 기업 내부 지식을 특정 모델과 분리해 관리하는 방법도 제안했습니다. 벤처비트는 설문 참여자가 100명, 교체 시간 응답자가 45명에 그쳐 결과를 전체 기업의 평균으로 일반화하기 어렵다고 밝혔습니다.

벤처비트는 12일(현지시간) 벤처비트 인텔리전스가 10월에 실시한 설문 결과를 공개했습니다. 직원 100명 이상 기업의 AI 담당자와 컨설턴트 등 100명 가운데 47%는 지난 12개월 동안 기존 애플리케이션을 유지한 채 실제 운영 중인 AI 모델을 교체한 경험이 있다고 답했습니다. 교체 소요 시간에 답한 45명 중 69%는 모델 변경 자체를 뺀 엔지니어링 작업에 몇 주 이상이 걸렸다고 밝혔고, 36%는 한 달 넘게 걸렸습니다. 설정만 바꾸면 돼 별도 작업이 거의 없었다는 응답은 13%였습니다.

교체 결과가 기존 모델과 같거나 더 나았다는 응답은 약 55%였으며, 나머지 약 45%는 성능 저하를 겪어 애플리케이션을 수정하거나 기존 모델로 돌아갔습니다. 프롬프트와 도구 사용 방식, 테스트 절차가 기존 모델에 맞춰져 있어 모델을 바꾸면 같은 작업에서도 결과가 달라질 수 있습니다. Box의 벤 쿠스 CTO는 모델에 지시를 전달하고 도구와 작업 순서를 제어하는 코드인 하네스가 실제 성능에 큰 영향을 준다고 설명했습니다. Box는 모델만 따로 비교하지 않고 실제 하네스와 결합해 정확도와 비용, 속도를 평가합니다.

소형 모델은 하네스에 따라 코딩 에이전트 평가 점수가 20~40점 차이 날 수 있다고 아티피셜 애널리시스의 마이카 힐스미스 CEO가 밝혔습니다. 저렴한 모델을 도입할 때는 기존 대형 모델에 맞춘 실행 환경도 수정해야 할 수 있습니다. 업워크의 수단슈 비스트 부사장은 실행당 10센트인 모델의 성공률이 20%라면 작업 완료까지 평균 5회 실행해 총 50센트가 들 수 있다고 설명했습니다. 반면 실행당 30센트인 모델의 성공률이 90%라면 평균 비용은 33센트입니다. 이 계산은 실패한 작업을 다시 시도한다고 가정하며, 기업은 토큰 가격보다 작업을 성공적으로 끝내는 총비용을 비교해야 합니다. 업워크는 반복적이고 명확한 업무에는 소형 모델을, 복잡하고 개방적인 작업에는 대형 모델을 사용합니다.

페이팔은 업무 정의와 승인된 데이터 조회 방식, 분석 절차를 담은 지식 계층을 내부 데이터 분석 비서에 추가했습니다. 모델을 교체하지 않고 이 계층만 더해 내부 업무 질문의 정확도를 43%에서 95%로 높였다고 밝혔습니다. 렌 장 AI 제품 총괄 부사장은 기업 지식이 특정 모델에 종속되지 않도록 설계해 새 모델을 도입할 때 업무 지식과 절차를 다시 구축하지 않게 하려는 것이라고 설명했습니다. 우버는 과거 코드 변경 사례로 평가 데이터를 만들고 자동 코드 정리 작업에 적합한 모델을 골라 작업당 비용을 90% 낮췄다고 밝혔습니다. 평가 체계를 갖춘 일부 AI 에이전트는 며칠 만에 모델을 교체할 수 있지만, 개발자용 코딩 도구는 작업 방식까지 바뀌어 더 어렵다고 했습니다.

T모바일은 고객 통화에 기존 AI 시스템과 새 버전을 동시에 적용해 결과를 비교하고, 개선이 확인될 때만 새 버전 사용을 늘립니다. 출시 뒤에도 소형 모델로 대화와 음성 세션의 잘못된 답변을 탐지합니다. 전문가들은 실제 사용자 요청으로 평가 데이터를 만들고, 사용할 하네스 환경에서 성능을 검증하며, 실패한 작업과 사람의 수정 비용까지 포함해 경제성을 비교해야 한다고 말했습니다. 기업 내부 지식을 특정 모델과 분리해 관리하는 방법도 제안했습니다. 벤처비트는 설문 참여자가 100명, 교체 시간 응답자가 45명에 그쳐 결과를 전체 기업의 평균으로 일반화하기 어렵다고 밝혔습니다.