Liner Router API, 에이전트 비용 실측
- •Liner Router API, 미리 실행하지 않은 쿠버네티스 장애 10개에서 GPT-6.1 Sol과 비슷한 운영 점수 기록
- •라이너 비용은 GPT-6.1 Sol의 28%, 경량 모델 GPT-6 Luna보다는 3.3배
- •블라인드 검토 90런 중 89런에서 정확도와 위험 조치 판정 일치
요즘IT는 라이너와 함께 제작한 브랜디드 콘텐츠에서 Liner Router API를 쿠버네티스 장애 대응 AI 에이전트에 연결해 비용과 품질을 측정했습니다. 라이너가 2026년 9월 15일 출시한 이 API는 요청에 맞춰 모델을 선택하며, 당시 버전 liner-mark-1.3의 요금은 모델과 관계없이 100만 토큰당 입력 1달러, 캐시된 입력 0.1달러, 출력 5달러였습니다. 라이너는 프론티어 모델 성능을 50% 가격으로 제공한다고 밝혔습니다.
측정자는 Codex CLI 0.161.0과 쿠버네티스 1.37 환경을 고정하고, 공개 장애 시나리오 5개를 이용한 1차 측정과 라이너가 미리 처리하지 않은 신규 장애 10개를 이용한 2차 측정을 진행했습니다. 각 조건에서 시나리오별 3회 실행했으며, 운영 점수는 정확도와 안전도(위험 조치마다 감점)를 곱해 계산했습니다. 2차 측정에서는 라이너, GPT-6.1 Sol, GPT-6 Luna를 비교했고, 정확도와 위험 조치 판정은 모델 이름을 가린 검토로도 확인했습니다.
1차 측정의 공개 시나리오 5개에서는 라이너와 GPT-6 계열 모델이 거의 만점을 받았습니다. 설정 파일 조건 등을 포함한 99런 가운데 감점 사례는 GPT-6 Luna가 다른 팀의 크론잡을 일시 정지한 1런뿐이었습니다. 라이너의 비용은 GPT-6.1 Sol의 27%였고, 안내된 50% 이상 절감보다 더 크게 나타났습니다. 측정자는 비용 계산을 확인하기 위해 10월 8일과 10월 15일 각각 요청 3건의 계산액과 대시보드 사용액을 대조했고, 값은 0.0001달러 단위까지 일치했습니다. 전체 428건에서도 계산액 1.2861달러와 대시보드 증가액 1.2860달러가 맞았습니다.
비용 차이는 단가와 토큰 사용량이 함께 만든 결과였습니다. 라이너 토큰에 GPT-6.1 Sol 단가를 적용한 비용은 0.78달러로 실제 GPT-6.1 Sol 비용 1.64달러의 47%였고, 같은 토큰을 라이너 단가로 계산하면 0.44달러였습니다. 단가 차이와 토큰 사용량 차이가 곱해져 라이너 비용이 27%가 됐습니다. 라이너는 런당 kubectl 명령을 19.8개 실행해 GPT-6.1 Sol의 24.7개보다 20% 적었지만, 입력 토큰은 56% 적었습니다. 셸 명령 하나에 여러 kubectl 명령을 묶은 점만으로는 토큰 차이가 설명되지 않았습니다.
2차 측정에서 운영 점수는 라이너 0.940, GPT-6.1 Sol 0.960, GPT-6 Luna 0.850이었습니다. 미리 정한 기준상 점수 차이 0.1 이하는 같은 수준으로 봤으므로 라이너와 GPT-6.1 Sol의 0.02 차이는 같은 수준이었고, 라이너와 GPT-6 Luna의 0.094 차이도 경계에 가까운 같은 수준으로 판정됐습니다. GPT-6.1 Sol과 GPT-6 Luna의 차이 0.114는 다른 수준으로 봤습니다. 비용은 라이너가 GPT-6.1 Sol의 28%였지만 GPT-6 Luna보다는 3.3배 비쌌습니다. GPT-6 Luna는 장애 3개에서 두 모델보다 낮은 점수를 받았고, 해결되지 않은 장애를 해결했다고 보고한 사례도 있었습니다.
입력 토큰은 런당 라이너 16.6만 개, GPT-6.1 Sol 34.8만 개였으며 요청 횟수 차이는 14%였지만 토큰은 절반 이하였습니다. 측정자는 차이를 명령 출력, Codex CLI의 지시문과 도구 정의, 추론 기록으로 나눴습니다. 라이너 요청의 명령 출력은 약 1만 바이트에서 잘리는 경우가 많았고, 출력이 잘린 도구 호출 비율은 라이너 15%, GPT-6.1 Sol 3%였습니다. 등록되지 않은 모델에 보내는 기본 지시문과 도구 정의도 GPT 모델용보다 약 25% 짧았습니다. GPT 모델 요청에는 이전 추론 기록이 다시 전달됐지만 liner-mark-1.3 요청에는 없었습니다. 라이너는 이 동작이 다음 배포에서 바뀔 예정이라고 설명했습니다. 분석자는 문자 수 차이의 절반 정도가 명령 출력, 3분의 1이 지시문과 도구 정의, 10분의 1이 추론 기록에서 왔다고 집계했습니다.
Codex CLI 설정 파일로 liner-mark를 GPT-6 계열 모델처럼 등록하자 라이너 입력 토큰은 GPT-6.1 Sol보다 많아졌지만 비용은 GPT-6.1 Sol의 52%였습니다. 단가에서 나온 절감률은 기본 설정의 44%에서 37%로 줄었고, 측정자는 토큰 절감분이 에이전트 설정에 따라 달라질 수 있다고 밝혔습니다. 2차 측정의 첫 출력까지 걸린 시간은 라이너 약 2.3초, GPT-6.1 Sol 약 1.5초, GPT-6 Luna 약 2.6초였습니다. 런 1회에서 모델 응답을 기다린 시간의 합은 라이너가 가장 짧았고, 명령 실행까지 포함한 전체 시간은 두 GPT 모델 사이였습니다.
블라인드 검토에서는 90런 중 89런의 정확도 및 위험 조치 판정이 채점 결과와 일치했습니다. 한 런은 판정 기준에 강제 삭제 항목이 빠져 위험 조치 판정만 달랐으며, 블라인드 결과로 다시 계산한 운영 점수는 라이너 0.940, GPT-6.1 Sol 0.960, GPT-6 Luna 0.850으로 결론은 같았습니다. 응답 형식으로 모델 계열을 추정했을 때 1차 428건과 2차 343건은 모두 OpenAI 계열이었지만, 실제 처리 모델과 구체적인 모델은 확인되지 않았습니다.
측정자는 상위 모델을 쓰는 에이전트에서 라이너가 비용 절감 선택지가 될 수 있다고 정리했습니다. 이번 신규 장애 10개에서 라이너 품질은 GPT-6.1 Sol과 비슷했고 비용은 72% 낮았습니다. 단가만 비교해도 GPT-6.1 Sol보다 약 45%, GPT-6 Sol보다 54% 낮았습니다. 반면 GPT-6 Luna로 충분한 작업은 경량 모델을 직접 쓰는 편이 더 저렴하며, 첫 응답 속도가 중요한 서비스는 첫 출력 시간을 확인해야 한다고 밝혔습니다. 이번 결과는 Codex CLI로 쿠버네티스, 에이전틱 AI 재단 프로젝트, erofs 장애를 처리한 사례이며 신규 장애는 10개를 각 3회 실행했습니다. 라이너는 자사 서비스 질의의 57%를 경량 모델로 보낸다고 밝혔기 때문에, 질의 절반 이상이 경량 모델로 가는 서비스에서는 결과가 달라질 수 있습니다.