AISPA, 상용 시스템 프롬프트 감사
Semantic Scholar
2026년 8월 1일 (토)
- •AISPA는 상용 대규모 언어모델 애플리케이션의 시스템 프롬프트를 사용자 관련 8개 차원에서 감사한다
- •연구진은 88개 상용 AI 제품의 시스템 프롬프트에서 나온 3,249개 지시문을 검토했다
- •제품의 98.9%에는 보호 지시문이 있었지만, 약 40%는 문제 지시문을 1개 이상 포함했다
샹닝 린(Xiangning Lin), 선저 주(Shenzhe Zhu), 슈 양(Shu Yang)과 공동 저자들은 2026년 논문에서 대규모 언어모델 애플리케이션의 시스템 프롬프트를 감사하는 Artificial Intelligence System Prompt Assurance, 즉 AISPA를 제안했다. 시스템 프롬프트는 파운데이션 모델의 동작 방향을 정하는 개발자 설정 지시문이며, 저자들은 이 지시문이 상용 AI 제품에서 널리 쓰이지만 사용자나 규제기관에는 거의 공개되지 않는다고 밝혔다.
AISPA는 시스템 프롬프트의 특정 부분을 사용자 관련 8개 차원에서 점검하고, 각 지시문을 보호적 지시문 또는 문제적 지시문으로 분류한다. 연구진은 이를 88개 상용 AI 제품의 시스템 프롬프트에서 추출한 3,249개 지시문에 적용해, 상용 프롬프트가 사용자 이익을 어떻게 처리하는지 사용자 중심으로 감사했다.
감사 결과는 개발자별 차이가 컸다. 일부 조직은 제품당 평균 60개가 넘는 보호 지시문을 넣은 반면, 다른 조직은 평균 5개 미만에 그쳤다. 보호 지시문은 제품의 98.9%에서 나타났지만, AISPA의 8개 차원을 모두 포함한 제품은 24%뿐이었다. 또한 약 40%의 제품에는 사용자 이익에 반하는 지시문이 최소 1개 있었다.