프라방카르 보루아는 2026년 《Journal of Scientific Research and Reports》에 발표한 논문에서 AI가 생성한 과학 문서를 탐지하는 경량 프레임워크를 보고했습니다. 시스템은 단어 단위 TF-IDF(단어 빈도와 문서 내 중요도를 나타내는 지표) 1~3그램, 문자 단위 TF-IDF 3~6그램, 보정된 선형 분류, GPT-2 기반 언어 모델의 서프라이절(언어 모델이 문장을 얼마나 예상 밖으로 보는지 나타내는 값)을 결합합니다. 가중 앙상블이 각 구성 요소의 출력을 합칩니다. 연구는 과학 글쓰기의 생성형 AI 사용과 관련된 선별 수요, 저자 표시의 투명성 및 연구 진실성에 대한 우려를 배경으로 삼았습니다.

연구진은 인간 작성 문서 4,100건과 AI 생성 문서 4,097건, 총 8,197건으로 프레임워크를 평가했습니다. 별도로 둔 검증 데이터는 1,640건이며 두 유형이 절반씩 포함됐습니다. 전체 앙상블은 정확도 95.80%, 정밀도 97.10%, 재현율 94.35%, F1 점수 95.71%, ROC-AUC 98.92%를 기록했습니다. 따로 분리한 인간 작성 과학 문서에서는 특이도 96.71%였고, 오탐률은 3.29%였습니다.

전체 데이터에서 층화 방식으로 5겹 안정성 분석을 한 결과 평균 정확도는 94.90% ± 0.53, ROC-AUC는 98.58% ± 0.26이었습니다. 저자들은 평가에 사용한 데이터 조건에서 과학 문서를 효율적으로 선별할 가능성을 보여준다고 밝혔습니다. 또 편집자의 검토와 AI 보조 과학 글쓰기의 투명성을 지원하는 계산 효율적 도구의 토대가 될 수 있으며, 이 과정에서 사람의 감독을 유지해야 한다고 설명했습니다.

프라방카르 보루아는 2026년 《Journal of Scientific Research and Reports》에 발표한 논문에서 AI가 생성한 과학 문서를 탐지하는 경량 프레임워크를 보고했습니다. 시스템은 단어 단위 TF-IDF(단어 빈도와 문서 내 중요도를 나타내는 지표) 1~3그램, 문자 단위 TF-IDF 3~6그램, 보정된 선형 분류, GPT-2 기반 언어 모델의 서프라이절(언어 모델이 문장을 얼마나 예상 밖으로 보는지 나타내는 값)을 결합합니다. 가중 앙상블이 각 구성 요소의 출력을 합칩니다. 연구는 과학 글쓰기의 생성형 AI 사용과 관련된 선별 수요, 저자 표시의 투명성 및 연구 진실성에 대한 우려를 배경으로 삼았습니다.

연구진은 인간 작성 문서 4,100건과 AI 생성 문서 4,097건, 총 8,197건으로 프레임워크를 평가했습니다. 별도로 둔 검증 데이터는 1,640건이며 두 유형이 절반씩 포함됐습니다. 전체 앙상블은 정확도 95.80%, 정밀도 97.10%, 재현율 94.35%, F1 점수 95.71%, ROC-AUC 98.92%를 기록했습니다. 따로 분리한 인간 작성 과학 문서에서는 특이도 96.71%였고, 오탐률은 3.29%였습니다.

전체 데이터에서 층화 방식으로 5겹 안정성 분석을 한 결과 평균 정확도는 94.90% ± 0.53, ROC-AUC는 98.58% ± 0.26이었습니다. 저자들은 평가에 사용한 데이터 조건에서 과학 문서를 효율적으로 선별할 가능성을 보여준다고 밝혔습니다. 또 편집자의 검토와 AI 보조 과학 글쓰기의 투명성을 지원하는 계산 효율적 도구의 토대가 될 수 있으며, 이 과정에서 사람의 감독을 유지해야 한다고 설명했습니다.