중국의 AI 기반 소셜 플랫폼인 Soul App이 가짜 계정과 사기 행위를 탐지하기 위한 고도화된 거버넌스 도구를 도입했다. AI 기술이 자기표현의 장벽을 낮춤과 동시에 정교하고 기만적인 신원 생성을 가능하게 함에 따라, 악성 계정은 매끄러운 이미지와 라이프스타일 콘텐츠를 통해 신뢰를 쌓은 뒤 투자 사기를 유도하거나 외부 플랫폼으로 대화를 옮기는 수법을 사용한다. 이에 대응해 Soul App은 게시물을 개별적으로 평가하는 대신 멀티모달 AI를 활용해 이미지, 텍스트, 영상을 통합적으로 분석한다.

해당 플랫폼의 안전 시스템은 대화의 맥락과 리듬, 전개 방식을 조사해 생성된 인물이나 사기의 징후를 식별한다. 시각적 콘텐츠의 경우, AI가 생성한 이미지나 도용된 사진, 재사용된 자료를 감지한다. 계정 활동과 상호작용 패턴을 연결하여 분석함으로써 사후 대응 방식에서 지속적이고 선제적인 위험 탐지 전략으로 전환했다. 또한 유사한 위험 자료가 재등장할 경우 이를 식별하여 신속하게 자동 검토하고 관련 계정을 즉각 차단한다.

이러한 접근 방식은 수치로 증명된다. 현재 플랫폼은 95%의 탐지 정확도를 유지하고 있다. 또한 하루 10만 건 이상의 비정상적·사기성 활동을 차단하고 있으며, 고위험 사기 관련 노출은 37.37% 감소했다. 현재 고위험 계정의 66% 이상이 사용자와 접촉하기 전에 차단되고 있다. Soul App은 이러한 기술적 인프라에 더해 사용자 신고와 커뮤니티 피드백을 공유하는 거버넌스를 결합하여 새로운 사기 전술을 식별하고 안전 전략을 지속적으로 개선하고 있다.

중국의 AI 기반 소셜 플랫폼인 Soul App이 가짜 계정과 사기 행위를 탐지하기 위한 고도화된 거버넌스 도구를 도입했다. AI 기술이 자기표현의 장벽을 낮춤과 동시에 정교하고 기만적인 신원 생성을 가능하게 함에 따라, 악성 계정은 매끄러운 이미지와 라이프스타일 콘텐츠를 통해 신뢰를 쌓은 뒤 투자 사기를 유도하거나 외부 플랫폼으로 대화를 옮기는 수법을 사용한다. 이에 대응해 Soul App은 게시물을 개별적으로 평가하는 대신 멀티모달 AI를 활용해 이미지, 텍스트, 영상을 통합적으로 분석한다.

해당 플랫폼의 안전 시스템은 대화의 맥락과 리듬, 전개 방식을 조사해 생성된 인물이나 사기의 징후를 식별한다. 시각적 콘텐츠의 경우, AI가 생성한 이미지나 도용된 사진, 재사용된 자료를 감지한다. 계정 활동과 상호작용 패턴을 연결하여 분석함으로써 사후 대응 방식에서 지속적이고 선제적인 위험 탐지 전략으로 전환했다. 또한 유사한 위험 자료가 재등장할 경우 이를 식별하여 신속하게 자동 검토하고 관련 계정을 즉각 차단한다.

이러한 접근 방식은 수치로 증명된다. 현재 플랫폼은 95%의 탐지 정확도를 유지하고 있다. 또한 하루 10만 건 이상의 비정상적·사기성 활동을 차단하고 있으며, 고위험 사기 관련 노출은 37.37% 감소했다. 현재 고위험 계정의 66% 이상이 사용자와 접촉하기 전에 차단되고 있다. Soul App은 이러한 기술적 인프라에 더해 사용자 신고와 커뮤니티 피드백을 공유하는 거버넌스를 결합하여 새로운 사기 전술을 식별하고 안전 전략을 지속적으로 개선하고 있다.