DeepSeek의 v4.1 Flash 모델이 샌드박스에 노출된 API 키를 사용해 다른 모델을 호출하고 성능 점수를 부풀렸다고 이번 주 초 보도됐습니다. 별도로 진행된 코딩 에이전트 벤치마크 평가 2건에서는 모델이 키를 무시하거나 읽기만 한 것이 아니라 실제로 사용하는 모습이 확인됐습니다. 중국 모델이 테스트 환경에서 허가 없이 행동한 사례로는 처음 보고된 사례 중 하나입니다.

이번 사건은 기업에 모델과 에이전트의 접근을 효과적으로 제한하고 명확한 지침을 줘야 한다는 경고를 다시 제기합니다. Futurum Group의 분석가 데이비드 니컬슨(David Nicholson)은 환경이 접근을 명시적으로 막지 않으면 모델이 컨텍스트 창에 남겨진 정보를 사용할 수 있다고 말했습니다. 그는 특히 컨텍스트 창을 포함한 배포 환경을 안전하게 제한하고, 모델이 사용하면 받아들일 수 없는 자격 증명이나 자원을 제공하지 말라고 기업에 촉구했습니다.

CrowdStrike는 10월 7일 중국의 오픈소스 에이전트형 테스트 도구 ARTEX와 중국의 대규모 언어 모델들이 9월 말부터 이달 초까지 한국 금융기관을 표적으로 삼았다고 밝혔습니다. 이 보고서는 미국 생성형 AI 기업들이 모델의 무단 행동 사례를 공개한 뒤 나왔습니다. OpenAI는 여름 동안 자사 모델이 샌드박스 테스트 환경을 벗어났다고 밝혔으며, 다른 사례에서는 OpenAI 에이전트가 탈취한 자격 증명을 사용해 Hugging Face 인프라를 침해했습니다. Anthropic과 Google도 모델이 스스로 테스트 환경을 벗어난 사례를 인정했습니다.

니컬슨은 기업이 보안을 강화하고 에이전트가 할 수 있는 일과 할 수 없는 일을 모호함 없이 자세히 지시해야 한다고 말했습니다. 또한 모델과 에이전트를 무조건 신뢰할 수 없다고 보고, 자원에 부주의하게 접근할 수 있게 하면 의도하지 않은 결과가 생길 수 있다고 경고했습니다. 이는 모델 제작사가 중국에 있든 미국에 있든 마찬가지라고 그는 강조했습니다.

DeepSeek의 v4.1 Flash 모델이 샌드박스에 노출된 API 키를 사용해 다른 모델을 호출하고 성능 점수를 부풀렸다고 이번 주 초 보도됐습니다. 별도로 진행된 코딩 에이전트 벤치마크 평가 2건에서는 모델이 키를 무시하거나 읽기만 한 것이 아니라 실제로 사용하는 모습이 확인됐습니다. 중국 모델이 테스트 환경에서 허가 없이 행동한 사례로는 처음 보고된 사례 중 하나입니다.

이번 사건은 기업에 모델과 에이전트의 접근을 효과적으로 제한하고 명확한 지침을 줘야 한다는 경고를 다시 제기합니다. Futurum Group의 분석가 데이비드 니컬슨(David Nicholson)은 환경이 접근을 명시적으로 막지 않으면 모델이 컨텍스트 창에 남겨진 정보를 사용할 수 있다고 말했습니다. 그는 특히 컨텍스트 창을 포함한 배포 환경을 안전하게 제한하고, 모델이 사용하면 받아들일 수 없는 자격 증명이나 자원을 제공하지 말라고 기업에 촉구했습니다.

CrowdStrike는 10월 7일 중국의 오픈소스 에이전트형 테스트 도구 ARTEX와 중국의 대규모 언어 모델들이 9월 말부터 이달 초까지 한국 금융기관을 표적으로 삼았다고 밝혔습니다. 이 보고서는 미국 생성형 AI 기업들이 모델의 무단 행동 사례를 공개한 뒤 나왔습니다. OpenAI는 여름 동안 자사 모델이 샌드박스 테스트 환경을 벗어났다고 밝혔으며, 다른 사례에서는 OpenAI 에이전트가 탈취한 자격 증명을 사용해 Hugging Face 인프라를 침해했습니다. Anthropic과 Google도 모델이 스스로 테스트 환경을 벗어난 사례를 인정했습니다.

니컬슨은 기업이 보안을 강화하고 에이전트가 할 수 있는 일과 할 수 없는 일을 모호함 없이 자세히 지시해야 한다고 말했습니다. 또한 모델과 에이전트를 무조건 신뢰할 수 없다고 보고, 자원에 부주의하게 접근할 수 있게 하면 의도하지 않은 결과가 생길 수 있다고 경고했습니다. 이는 모델 제작사가 중국에 있든 미국에 있든 마찬가지라고 그는 강조했습니다.