단순한 시각 기호, AI 코딩 방식 바꿔

구글 딥마인드와 스탠퍼드대학교 공동 연구진은 지난달 27일 arXiv에 시각언어모델(VLM·이미지와 텍스트를 함께 처리하는 AI)이 단순한 색상과 도형에 영향을 받는 방식을 분석한 논문을 공개했습니다. 연구진은 클로드 오퍼스 4.7, GPT-5.4, 제미나이 3.1 프로에 나무처럼 가지가 갈라지는 데이터 구조를 순서대로 탐색하는 코딩 문제를 냈습니다. 문제는 반복문을 쓰는 반복 방식과 함수가 자기 자신을 다시 호출하는 재귀 방식으로 풀 수 있으며, 어느 방식이 더 효율적인지는 문제와 구현에 따라 달라집니다. 각 조건에서 모델이 코드를 20차례 생성하도록 하고 재귀 사용 여부를 비교했습니다.

이미지가 없을 때 클로드 오퍼스 4.7과 GPT-5.4는 실험에서 모두 반복 방식을 택했습니다. 빨간 하트 이미지를 함께 보여주자 두 모델은 각각 실험의 100%에서 재귀 코드를 작성했고, 제미나이 3.1 프로는 노란 체크 표시를 봤을 때 90%의 확률로 재귀 방식을 선택했습니다. 연구진은 색상 12종과 도형 24종을 조합한 시각 기호 288개도 시험했습니다. 클로드 오퍼스 4.7은 삼각형과 원, GPT-5.4는 하트에 특히 반응했고, 제미나이 3.1 프로는 특정 색상과 도형의 조합에 영향을 받았습니다. 일부 기호는 재귀 코드를 직접 지시한 것과 비슷한 효과를 냈지만, 기호와 행동의 연관성은 모델마다 달랐습니다.

이미지를 문장으로 설명하면 효과가 거의 재현되지 않았습니다. ‘빨간색 하트 이미지’라는 문장이나 무작위 노이즈, 일반 동물 사진도 단순한 도형만큼 코딩 방식을 바꾸지 못했습니다. 연구진은 제미나이 3.1 프로의 추론 기록 2,880개를 분석했고, 시각 기호가 실제로 행동에 영향을 준 기록의 71.5%에서 모델은 이미지를 관련 없는 정보로 판단했습니다. 그러면서 재귀 방식이 더 간결하거나 효율적이라는 이유를 들었습니다. 반면 GPT-5.4는 이미지가 행동에 영향을 주지 않은 상황에서도 기록의 74.7%에서 기호가 영향을 줬다고 설명했습니다. 추론 기록에 기호를 언급하지 않아도 일부 기호는 코딩 방식을 바꿨으며, GPT-5.4는 그 기록에서 이미지를 전혀 언급하지 않았습니다.

코딩 외 작업에서도 시각 기호의 영향이 나타났습니다. 글쓰기 실험에서는 분홍색 도형과 하트가 세 모델 모두에서 전문적인 문체보다 시적인 문체를 유도했고, 하트는 클로드 오퍼스 4.7이 더 긴 글을 쓰도록 영향을 미쳤습니다. 제미나이 3.1 프로와 GPT-5.4는 파란 삼각형을 봤을 때 여름보다 겨울을 선택하는 경향을 보였습니다. 모델끼리 그림으로 정보를 전달할 때는 인간에게 익숙한 나선이나 화살표보다 하트나 삼각형이 상대 모델의 코딩 방식을 바꾸는 사례가 있었습니다. 자유롭게 그림을 그리는 조건에서 첫 시도 성공률은 91.2%, 그림을 고친 뒤 최종 성공률은 97.8%였고, 정해진 도형만 쓸 때 첫 시도 성공률은 47.8%였습니다.

소규모 인간 실험 참가자 7명은 AI의 코딩 방식을 실제로 바꾼 기호의 의미를 약 36%만 정확히 파악했습니다. 모델 간 의사소통 성공을 위해 그림을 수정할수록 사람은 그 의미를 이해하기 어려워지는 경향도 있었습니다. 연구진은 웹페이지나 프로그램 화면의 사소한 시각 요소가 업무를 처리하는 AI 에이전트의 판단에 영향을 줄 수 있으며, 추론 기록만으로 원인을 확인하기 어려울 수 있다고 밝혔습니다. 다만 실제 업무 환경에서도 같은 현상이 나타나는지는 추가 검증이 필요하다고 했습니다.

구글 딥마인드와 스탠퍼드대학교 공동 연구진은 지난달 27일 arXiv에 시각언어모델(VLM·이미지와 텍스트를 함께 처리하는 AI)이 단순한 색상과 도형에 영향을 받는 방식을 분석한 논문을 공개했습니다. 연구진은 클로드 오퍼스 4.7, GPT-5.4, 제미나이 3.1 프로에 나무처럼 가지가 갈라지는 데이터 구조를 순서대로 탐색하는 코딩 문제를 냈습니다. 문제는 반복문을 쓰는 반복 방식과 함수가 자기 자신을 다시 호출하는 재귀 방식으로 풀 수 있으며, 어느 방식이 더 효율적인지는 문제와 구현에 따라 달라집니다. 각 조건에서 모델이 코드를 20차례 생성하도록 하고 재귀 사용 여부를 비교했습니다.

이미지가 없을 때 클로드 오퍼스 4.7과 GPT-5.4는 실험에서 모두 반복 방식을 택했습니다. 빨간 하트 이미지를 함께 보여주자 두 모델은 각각 실험의 100%에서 재귀 코드를 작성했고, 제미나이 3.1 프로는 노란 체크 표시를 봤을 때 90%의 확률로 재귀 방식을 선택했습니다. 연구진은 색상 12종과 도형 24종을 조합한 시각 기호 288개도 시험했습니다. 클로드 오퍼스 4.7은 삼각형과 원, GPT-5.4는 하트에 특히 반응했고, 제미나이 3.1 프로는 특정 색상과 도형의 조합에 영향을 받았습니다. 일부 기호는 재귀 코드를 직접 지시한 것과 비슷한 효과를 냈지만, 기호와 행동의 연관성은 모델마다 달랐습니다.

이미지를 문장으로 설명하면 효과가 거의 재현되지 않았습니다. ‘빨간색 하트 이미지’라는 문장이나 무작위 노이즈, 일반 동물 사진도 단순한 도형만큼 코딩 방식을 바꾸지 못했습니다. 연구진은 제미나이 3.1 프로의 추론 기록 2,880개를 분석했고, 시각 기호가 실제로 행동에 영향을 준 기록의 71.5%에서 모델은 이미지를 관련 없는 정보로 판단했습니다. 그러면서 재귀 방식이 더 간결하거나 효율적이라는 이유를 들었습니다. 반면 GPT-5.4는 이미지가 행동에 영향을 주지 않은 상황에서도 기록의 74.7%에서 기호가 영향을 줬다고 설명했습니다. 추론 기록에 기호를 언급하지 않아도 일부 기호는 코딩 방식을 바꿨으며, GPT-5.4는 그 기록에서 이미지를 전혀 언급하지 않았습니다.

코딩 외 작업에서도 시각 기호의 영향이 나타났습니다. 글쓰기 실험에서는 분홍색 도형과 하트가 세 모델 모두에서 전문적인 문체보다 시적인 문체를 유도했고, 하트는 클로드 오퍼스 4.7이 더 긴 글을 쓰도록 영향을 미쳤습니다. 제미나이 3.1 프로와 GPT-5.4는 파란 삼각형을 봤을 때 여름보다 겨울을 선택하는 경향을 보였습니다. 모델끼리 그림으로 정보를 전달할 때는 인간에게 익숙한 나선이나 화살표보다 하트나 삼각형이 상대 모델의 코딩 방식을 바꾸는 사례가 있었습니다. 자유롭게 그림을 그리는 조건에서 첫 시도 성공률은 91.2%, 그림을 고친 뒤 최종 성공률은 97.8%였고, 정해진 도형만 쓸 때 첫 시도 성공률은 47.8%였습니다.

소규모 인간 실험 참가자 7명은 AI의 코딩 방식을 실제로 바꾼 기호의 의미를 약 36%만 정확히 파악했습니다. 모델 간 의사소통 성공을 위해 그림을 수정할수록 사람은 그 의미를 이해하기 어려워지는 경향도 있었습니다. 연구진은 웹페이지나 프로그램 화면의 사소한 시각 요소가 업무를 처리하는 AI 에이전트의 판단에 영향을 줄 수 있으며, 추론 기록만으로 원인을 확인하기 어려울 수 있다고 밝혔습니다. 다만 실제 업무 환경에서도 같은 현상이 나타나는지는 추가 검증이 필요하다고 했습니다.