소프트웨어 엔지니어링 필자인 제임스 앤더슨(James Anderson)은 2026년 9월 8일, 2026년에 ‘AI 에이전트’로 불리는 많은 시스템이 진정한 자율 에이전트가 아니라 LLM 호출을 쓰는 고정형 파이프라인이라고 주장했다. 그는 지난해 직접 만든 에이전트를 근거로 들었다. 해당 시스템은 플래너, 도구, reasoning loop(모델이 반복적으로 결정을 이끄는 과정)를 갖췄고 데모에서는 인상적이었지만, 프로덕션에서는 느리고 비용이 많이 들며 재현과 디버깅이 어려웠다.

앤더슨은 그 프로덕션 에이전트를 고정 단계와 reasoning loop가 없는 선형 파이프라인으로 대체했다고 밝혔다. 수정된 시스템은 더 빠르고 저렴했으며 테스트와 디버깅이 가능했다. 특히 기존 시스템의 로그는 매 실행마다 같은 3단계, 즉 추출, 변환, 응답을 수행했음을 보여줬다. 이에 따라 그는 에이전트라고 불렸던 시스템이 실제로는 시스템 프롬프트를 붙인 for-loop처럼 작동했다고 결론 내렸다.

핵심 구분은 control flow다. 앤더슨은 에이전트를 모델이 실행 시점에 어떤 도구를 호출할지, 다음 단계가 무엇인지, 다시 반복할지, 언제 멈출지를 결정하는 시스템으로 정의했다. 반면 파이프라인은 설계 시점에 control flow가 고정돼 있다. 즉 step 1, step 2, step 3이 정해진다. 이 구조에서도 LLM은 한 단계 안에서 필드 추출, 티켓 분류, 요약 생성을 할 수 있지만 경로 자체를 선택하지는 않는다.

앤더슨은 실용적인 판별법도 제시했다. 엔지니어가 시스템 실행 전에 플로차트를 그릴 수 있다면 그것은 에이전트가 아니라 파이프라인이라는 설명이다. 그는 다음 단계가 사전에 알 수 없는 정보에 달려 있을 때에만 진짜 agency가 필요하다고 봤다. 그의 견해로는 대부분의 비즈니스 작업은 이미 알려진 형태를 갖고 있으므로, 모델이 같은 구조를 즉흥적으로 만들게 하는 일은 이익 없이 비용만 늘린다.

파이프라인을 에이전트로 잘못 부를 때 생기는 비용도 열거됐다. 실행 시점 결정은 같은 입력이 화요일과 수요일에 다른 경로를 따를 수 있는 비결정성을 만든다. 또한 step 12의 실패가 step 4의 통제되지 않은 결정으로 거슬러 올라갈 때 디버깅은 더 어려워진다. 자율 결정이 늘수록 실패 지점이 많아지고, reasoning loop는 고정된 순서보다 더 많은 모델 호출, 토큰, 비용, 지연시간을 요구한다.

앤더슨은 파이프라인도 LLM의 유용한 작업인 추출, 분류, 내용 추론, 언어 생성을 그대로 보존한다고 말했다. 차이는 엔지니어가 구조를 소유하느냐, 모델이 이를 즉흥적으로 정하게 하느냐다. 그는 실제로 잘 작동하는 프로덕션 시스템이 자유롭게 돌아다니는 reasoning loop보다, 대부분 고정된 파이프라인에 1개 또는 2개의 제한된 의사결정 지점을 둔 형태에 가깝다고 설명했다.

그는 특정한 경우에는 진짜 에이전트가 가능하다고 봤다. 예로는 개방형 연구, 탐색, 알 수 없는 문제의 디버깅, step 1이 실행되기 전에는 step 2를 알 수 없는 실제 multi-hop reasoning, 열거하기에는 너무 큰 무제한 분기가 제시됐다. 다만 그때도 개발자는 agency를 최소화하고, 가능한 모든 것을 하드코딩하며, 고정 경로가 실패하는 좁은 지점에만 실행 시점의 모델 결정을 남겨야 한다고 주장했다.

앤더슨은 에이전트 남용의 일부 원인을 인센티브에서 찾았다. 에이전트는 데모에서 더 좋아 보이고, 더 진보적으로 들리며, 이력서와 투자 유치용 언어로 쓰기 쉽다는 것이다. 반면 결정론적 파이프라인은 덜 인상적으로 보인다. 그의 권고는 플로차트에서 시작해, 유용한 곳에만 LLM 호출을 넣은 고정 단계를 만들고, 파이프라인으로 일을 처리할 수 없을 때에만 에이전트로 격상하라는 것이다.

소프트웨어 엔지니어링 필자인 제임스 앤더슨(James Anderson)은 2026년 9월 8일, 2026년에 ‘AI 에이전트’로 불리는 많은 시스템이 진정한 자율 에이전트가 아니라 LLM 호출을 쓰는 고정형 파이프라인이라고 주장했다. 그는 지난해 직접 만든 에이전트를 근거로 들었다. 해당 시스템은 플래너, 도구, reasoning loop(모델이 반복적으로 결정을 이끄는 과정)를 갖췄고 데모에서는 인상적이었지만, 프로덕션에서는 느리고 비용이 많이 들며 재현과 디버깅이 어려웠다.

앤더슨은 그 프로덕션 에이전트를 고정 단계와 reasoning loop가 없는 선형 파이프라인으로 대체했다고 밝혔다. 수정된 시스템은 더 빠르고 저렴했으며 테스트와 디버깅이 가능했다. 특히 기존 시스템의 로그는 매 실행마다 같은 3단계, 즉 추출, 변환, 응답을 수행했음을 보여줬다. 이에 따라 그는 에이전트라고 불렸던 시스템이 실제로는 시스템 프롬프트를 붙인 for-loop처럼 작동했다고 결론 내렸다.

핵심 구분은 control flow다. 앤더슨은 에이전트를 모델이 실행 시점에 어떤 도구를 호출할지, 다음 단계가 무엇인지, 다시 반복할지, 언제 멈출지를 결정하는 시스템으로 정의했다. 반면 파이프라인은 설계 시점에 control flow가 고정돼 있다. 즉 step 1, step 2, step 3이 정해진다. 이 구조에서도 LLM은 한 단계 안에서 필드 추출, 티켓 분류, 요약 생성을 할 수 있지만 경로 자체를 선택하지는 않는다.

앤더슨은 실용적인 판별법도 제시했다. 엔지니어가 시스템 실행 전에 플로차트를 그릴 수 있다면 그것은 에이전트가 아니라 파이프라인이라는 설명이다. 그는 다음 단계가 사전에 알 수 없는 정보에 달려 있을 때에만 진짜 agency가 필요하다고 봤다. 그의 견해로는 대부분의 비즈니스 작업은 이미 알려진 형태를 갖고 있으므로, 모델이 같은 구조를 즉흥적으로 만들게 하는 일은 이익 없이 비용만 늘린다.

파이프라인을 에이전트로 잘못 부를 때 생기는 비용도 열거됐다. 실행 시점 결정은 같은 입력이 화요일과 수요일에 다른 경로를 따를 수 있는 비결정성을 만든다. 또한 step 12의 실패가 step 4의 통제되지 않은 결정으로 거슬러 올라갈 때 디버깅은 더 어려워진다. 자율 결정이 늘수록 실패 지점이 많아지고, reasoning loop는 고정된 순서보다 더 많은 모델 호출, 토큰, 비용, 지연시간을 요구한다.

앤더슨은 파이프라인도 LLM의 유용한 작업인 추출, 분류, 내용 추론, 언어 생성을 그대로 보존한다고 말했다. 차이는 엔지니어가 구조를 소유하느냐, 모델이 이를 즉흥적으로 정하게 하느냐다. 그는 실제로 잘 작동하는 프로덕션 시스템이 자유롭게 돌아다니는 reasoning loop보다, 대부분 고정된 파이프라인에 1개 또는 2개의 제한된 의사결정 지점을 둔 형태에 가깝다고 설명했다.

그는 특정한 경우에는 진짜 에이전트가 가능하다고 봤다. 예로는 개방형 연구, 탐색, 알 수 없는 문제의 디버깅, step 1이 실행되기 전에는 step 2를 알 수 없는 실제 multi-hop reasoning, 열거하기에는 너무 큰 무제한 분기가 제시됐다. 다만 그때도 개발자는 agency를 최소화하고, 가능한 모든 것을 하드코딩하며, 고정 경로가 실패하는 좁은 지점에만 실행 시점의 모델 결정을 남겨야 한다고 주장했다.

앤더슨은 에이전트 남용의 일부 원인을 인센티브에서 찾았다. 에이전트는 데모에서 더 좋아 보이고, 더 진보적으로 들리며, 이력서와 투자 유치용 언어로 쓰기 쉽다는 것이다. 반면 결정론적 파이프라인은 덜 인상적으로 보인다. 그의 권고는 플로차트에서 시작해, 유용한 곳에만 LLM 호출을 넣은 고정 단계를 만들고, 파이프라인으로 일을 처리할 수 없을 때에만 에이전트로 격상하라는 것이다.