국산 AI 3종 vs 글로벌 AI, '글쓰기'와 '코딩'으로 직접 비교

작성자: AIB Team·2026년 9월 1일 (화)
국산 AI 3종 vs 글로벌 AI, '글쓰기'와 '코딩'으로 직접 비교

안녕하세요. 에이아이비(AIB)입니다.

지난 8월 18일 과학기술정보통신부는 ‘독자 AI 파운데이션 모델’ 프로젝트, 이른바 ‘독파모’의 2차 단계평가 결과를 발표했습니다. 참여 기업 가운데 업스테이지, SK텔레콤, LG AI연구원이 다음 단계에 진출했고, 모티프테크놀로지스는 탈락했습니다.

눈에 띄는 점은 모티프가 벤치마크 평가에서는 가장 높은 점수를 받았다는 것입니다. 글로벌 AI 평가기관 Artificial Analysis의 AAII에서도 당시 참여 4개 팀 가운데 가장 높은 47점을 기록했습니다. 하지만 모티프는 독파모 2차 평가에서 탈락했습니다.

모티프는 탈락 이후 평가 결과에 대한 구체적인 정보 공개를 요구했고, 이후 공개된 세부 점수를 보면, 모티프는 벤치마크에서 가장 높은 점수를 받았지만 전문가 평가 27.1점, 사용자 평가 14.1점으로 두 항목에서는 가장 낮은 점수를 받았습니다.

뉴스만 보면 조금 의아합니다. 성능을 측정하는 벤치마크 점수는 가장 높은데, 왜 전문가와 사용자의 평가는 가장 낮았을까요?

사실 벤치마크 성능과 실제 사용 경험 사이의 차이는 최근 AI 업계에서도 중요한 논쟁거리 중 하나입니다.
그래서 에이아이비에서는 독파모 2차 경쟁에 참여한 모델 가운데 K-EXAONE 2.0(LG AI연구원), Motif 3(모티프테크놀로지스), Solar Pro 4(업스테이지) 세 모델을 직접 비교해봤습니다.

이번 에이아이비 자체 비교에서는 ‘한국어 글쓰기’와 ‘기초 코딩’ 두 가지 분야를 테스트했습니다.

한국어 글쓰기는 국내 AI 모델들이 꾸준히 강점으로 내세워온 영역입니다. 반면 코딩은 AI가 직접 작업을 수행하는 에이전틱 AI의 활용이 확대되면서 실무 성능을 가늠하는 중요한 기준 중 하나가 되고 있습니다.

미리 말씀드리자면, 이번 비교는 어디까지나 참고용입니다. 테스트 횟수가 제한적이고 결과에 대한 판단에도 저희 팀의 주관이 포함되어 있습니다. 따라서 모델의 절대적인 성능이나 순위를 평가하기보다는, 같은 조건에서 직접 사용했을 때 어떤 차이가 나타나는지 살펴보는 실사용 테스트로 봐주시면 좋겠습니다. 그리고 가장 좋은 방법은 역시 각자가 직접 비교해보는 것이겠죠.

세 모델은 지금 에이아이비에서 무료로 직접 비교할 수 있습니다.
먼저 저희가 테스트한 결과를 참고하셔도 좋고, 평소 궁금했던 질문을 바로 던져보셔도 좋습니다.

국산 AI 모델 직접 비교하기


1. 한국어 글쓰기 비교

글쓰기 프롬프트는 아래와 같이 모두 동일하게 사용했습니다.

당신은 기술 제품 보도자료를 작성하는 커뮤니케이션 담당자입니다.
집중 시간을 관리해 주는 책상용 디바이스의 출시 보도자료를 작성해 주세요.

다음 내용을 포함해 주세요.

  • 제품이 해결하려는 현대 업무 환경의 문제

  • 핵심 기능 3가지

  • 사용자가 실제로 경험할 변화

  • 개인정보나 감시로 오해받을 수 있는 지점에 대한 설명

  • 회사 관계자의 짧은 인용문

홍보 문구는 명확하게 쓰되, 과장된 최상급 표현은 사용하지 말아 주세요.

GPT-5.6 Terra를 포함한 4개 모델을 여러 차례 비교한 결과, 한국어 글쓰기 자체의 품질에서는 모델 간 격차가 크지 않았습니다. 에이아이비의 주관적인 평가에서는 K-EXAONE 2.0과 Solar Pro 4가 거의 비슷한 수준으로 가장 좋은 결과를 보여줬고, Motif 3와 GPT-5.6 Terra가 그 뒤를 이었습니다.

에이아이비 자체 평가AI 모델한국어 글쓰기속도·안정성주요 특징
공동 1위K-EXAONE 2.0매우 좋음아쉬움한국어 문서 형식과 표현이 특히 자연스러움
공동 1위Solar Pro 4매우 좋음좋음자연스러운 한국어와 비교적 안정적인 응답
공동 3위GPT-5.6 Terra좋음매우 좋음표현과 구성은 안정적이며 응답 속도와 일관성이 뛰어남
공동 3위Motif 3좋음아쉬움전반적인 품질은 준수하지만 결과 편차가 상대적으로 큼

모두 한국어 자체는 상당히 자연스러웠고, 보도자료의 기본적인 구성이나 요구한 정보의 반영 여부에서도 눈에 띄는 격차는 크지 않았지만, 비교적 분명하게 차이가 느껴졌던 부분은 한국어 문서의 형식과 표현 방식이었습니다.

국산 모델들은 한국 인터넷 뉴스나 기업 보도자료에서 자주 볼 수 있는 문장 구조와 문서 양식을 조금 더 자연스럽게 재현하는 인상을 줬습니다. 반면 GPT-5.6 Terra 같은 글로벌 프론티어 모델과 비교했을 때 성능 자체보다 더 체감되는 차이는 속도와 안정성이었습니다.

이번 테스트에서는 Solar Pro 4가 비교적 안정적으로 응답한 반면, K-EXAONE 2.0과 Motif 3는 응답 속도나 결과 생성의 안정성 측면에서 실제 업무에 바로 사용하기에는 아직 불편한 부분이 있었습니다.

물론 이 부분은 감안해서 볼 필요가 있습니다. 독파모 프로젝트는 아직 진행 중이고, 모든 참가 모델이 충분한 상용 인프라를 갖춘 상태에서 서비스되고 있는 것도 아닙니다. 제한된 자원으로 운영되는 테스트 환경의 영향도 있을 수 있습니다.

오히려 이 테스트를 하면서 한 가지 더 생각하게 됐습니다.

좋은 국산 AI 모델을 만드는 것은 시작일 뿐이고, 많은 사용자가 언제든 안정적으로 사용할 수 있도록 운영 인프라와 노하우를 확보하는 것 역시 중요한 경쟁력일 수 있다는 점입니다.


실제 결과 비교

K-EXAONE 2.0은 다음과 같이 한국어 표현 형식이나 ‘홍길동’ 같은 한국식 예시를 사용하는 방식에서 상당히 자연스러운 모습을 보여줬습니다.

서울, 2024. 00. 00. – [기업명](대표: 홍길동)은 현대 업무 환경에서 심화되는 주의 분산 문제를 해결하기 위해 설계된 데스크형 집중 관리 기기 ‘포커스 큐브(FocusCube)’를 00월 00일 정식 출시한다고 밝혔다.

Motif 3는 아래와 같이 가상의 회사 연락처를 직접 만들어냈습니다.

테크랩 연락처
이메일: press@techlab.co.kr
전화: 02-1234-5678
웹사이트: www.techlab.co.kr

형식만 보면 실제 보도자료처럼 그럴듯합니다. 하지만 프롬프트에 제공되지 않은 회사명과 이메일, 웹사이트까지 임의로 만들어냈다는 점은 오히려 사실성 측면에서 감점 요소였습니다.

가상의 예시라는 표시가 없다면 실제 존재하는 기업이나 연락처로 오해할 가능성도 있기 때문입니다. 프롬프트에서 요구하지 않은 정보를 어디까지 임의로 채울 것인지에 대한 정렬 측면에서도 아쉬움이 있었습니다.

반면 GPT-5.6 Terra와 Solar Pro 4는 다음과 같이 사용자가 직접 정보를 채울 수 있는 형태로 남겼습니다.

문의
[회사명] 커뮤니케이션팀
이메일: [이메일]
전화: [전화번호]
웹사이트: [URL]

이 부분은 그럴듯한 정보를 임의로 만들어내는 것보다 템플릿 형태로 제공한 GPT-5.6 Terra와 Solar Pro 4에 더 높은 점수를 주었습니다.

물론 이것만으로 벤치마크 결과와 직접 비교해 결론을 내리기는 어렵습니다.

대부분의 AI 벤치마크는 정답이 있거나 일정한 기준으로 채점할 수 있는 문제를 중심으로 성능을 측정합니다. 반면 글쓰기의 자연스러움이나 문체, 문서 형식처럼 사람의 취향이 개입되는 영역은 하나의 점수로 평가하기가 훨씬 어렵습니다.

그럼에도 주목할 만한 이유가 있습니다.

현재 많은 사람들이 생성형 AI를 가장 자주 활용하는 분야 중 하나가 바로 글쓰기이기 때문입니다.

결국 벤치마크에서 잘 드러나지 않는 이런 작은 차이들이 실제 사용자에게는 오히려 모델을 선택하는 중요한 기준이 될 수 있습니다.


2. 기초 코딩 비교

이번에는 아주 간단한 웹페이지 하나를 만드는 기초 코딩 능력을 비교해봤습니다.

흥미롭게도 우열을 가리기 쉽지 않았던 글쓰기 테스트와 달리, 코딩에서는 모델별 차이가 비교적 명확하게 나타났습니다.

이번 비교에는 국산 모델 3종과 주요 글로벌 AI 기업의 모델 4종, 총 7개 모델을 사용하여, 각 모델별로 같은 작업을 두 번씩 실행해 총 14개의 결과물을 만들고, 그중 더 잘 나온 결과를 기준으로 비교했습니다.

에이아이비 자체 평가AI 모델회사명
1위GPT-5.6 TerraOpenAI
2위Grok 4.5xAI
3위Solar Pro 4업스테이지
공동 4위Gemini 3.6 FlashGoogle
공동 4위Claude Sonnet 5Anthropic
6위Motif 3모티프테크놀로지스
7위K-EXAONE 2.0LG AI연구원

GPT-5.6 Terra는 전체적인 디자인 구성과 코드 완성도에서 7개 모델 가운데 눈에 띄게 좋은 결과를 보여줬습니다. Grok 4.5 역시 완성도 높은 결과를 만들어내며 상당히 좋은 모습을 보였습니다.

국산 모델 가운데에서는 Solar Pro 4가 가장 인상적이었습니다.
단순히 비슷한 형태의 웹페이지를 만드는 데 그치지 않고 아이콘을 직접 생성하는 등 나름의 변화를 시도했습니다. 흔히 볼 수 있는 천편일률적인 AI 생성 웹페이지와는 조금 다른 결과를 보여줬고, 이번 기초 코딩 테스트에서는 Gemini와 Claude보다도 흥미로운 결과물을 만들어냈습니다.

반면 Motif 3는 결과물을 그대로 사용하기에는 완성도가 많이 부족했습니다.
기본 요소는 구현됐지만 전체적인 디자인과 기능의 완성도에서는 상위 모델들과 비교해 분명한 차이가 느껴졌습니다.

마지막으로 K-EXAONE 2.0의 결과는 예상 밖이었습니다.
K-EXAONE 2.0은 1차 모델의 236B에서 세 배 이상 커진 750B 규모로, 국내에서 공개된 모델 가운데 가장 큰 축에 속합니다. LG AI연구원은 모델 공개 당시 자체 벤치마크 기준으로 24개 벤치마크 평균 점수가 70.1점으로 1차 모델보다 10% 이상 상승했고, 코딩 및 에이전틱 코딩 관련 지표의 평균 성능도 약 30% 향상됐다고 밝혔습니다.

하지만 이번 테스트에서는 코드 자체는 생성됐지만, 실제로 페이지가 정상적으로 표시되지 않는 경우가 반복됐습니다. 여러 차례 다시 생성해도 비슷한 문제가 나타났고, 적어도 이번 테스트 범위에서는 코딩 안정성이 상당히 부족하다는 인상을 받았습니다.

에이전틱 AI가 직접 코드를 작성하고 실행하며 작업을 수행하는 방향으로 발전하고 있다는 점을 생각하면, 코딩 능력은 앞으로 더욱 중요한 기준이 될 가능성이 높습니다. 그런 관점에서 K-EXAONE 2.0의 결과는 아쉬움이 컸습니다.

물론 다시 한번 강조할 필요가 있습니다.

몇 번의 테스트 결과만으로 오랜 기간 모델을 개발해온 연구진의 노력이나 모델 전체의 성능을 평가할 수는 없습니다. 특정 프롬프트와 환경에서 진행한 소규모 테스트일 뿐이며, 조건에 따라 결과는 얼마든지 달라질 수 있습니다.

다만 실제 사용자의 입장에서는 평균적인 성능만큼이나 ‘같은 요청을 했을 때 얼마나 안정적으로 좋은 결과를 내놓는가’도 중요합니다. 한 번 아주 좋은 결과를 만들어내는 모델보다, 충분히 좋은 결과를 반복해서 안정적으로 만들어내는 모델이 실제 업무에서는 더 유용할 수 있기 때문입니다.

국산 AI 역시 단순히 더 높은 벤치마크 점수를 기록하는 것을 넘어, 똑똑하면서도 언제 사용해도 일정한 품질의 결과를 보여주는 모델로 발전하기를 기대해봅니다.


실제 결과물 스크린샷

[↑ GPT-5.6 Terra 스크린샷]

[↑ Grok 4.5 스크린샷]

[↑ Solar Pro 4 스크린샷]

[↑ Gemini 3.6 Flash 스크린샷]

[↑ Claude Sonnet 5 스크린샷]

[↑ Motif 3 스크린샷]

[↑ K-EXAONE 2.0 스크린샷: 제대로 생성되지 않음]


앞서 살펴본 한국어 글쓰기에서는 국산 모델들도 충분한 경쟁력을 보여줬고, 특히 한국어 문서의 형식이나 표현에서는 오히려 강점이 느껴지는 부분도 있었습니다. 반면 이번 기초 코딩 테스트에서는 모델별 격차가 비교적 뚜렷하게 나타났습니다.

결국 중요한 것은 어느 한쪽을 무조건 높게 평가하는 것이 아니라, 각 모델이 어떤 영역에서 강하고 어디에서 아직 부족한지를 직접 확인하는 것이라고 생각합니다.

이번 비교 역시 제한된 조건에서 진행한 소규모 테스트입니다. 결과를 모델의 절대적인 성능이나 순위로 일반화하기보다는 참고 자료 정도로 봐주시면 좋겠습니다.

더 다양한 질문과 조건으로 확인해보고 싶다면 에이아이비에서 직접 비교를 해볼 수 있습니다.

결국 우리가 선택해야 하는 것은 벤치마크 점수가 가장 높은 AI가 아니라, 내가 실제로 사용할 때 가장 좋은 결과를 보여주는 AI입니다.

카톡 문의