학술지의 웹사이트와 온라인 데이터를 분석해 돈을 받고 부실한 논문을 게재하는, 일명 ‘약탈적 저널(predatory journals)’을 찾아내는 인공지능(AI) 플랫폼이 콜로라도대학 볼더캠퍼스(University of Colorado Boulder, 이하 CU 볼더) 연구팀에 의해 개발됐다. CU 볼더의 대니얼 아쿠냐(Daniel Acuña) 교수가 이끄는 연구팀은 8월 27일 과학 저널 사이언스 어드밴시스(Science Advances)에 발표한 논문을 통해, 학술지 웹사이트 디자인·콘텐츠·발간 메타데이터 등을 분석해 부실 의심 학술지(shady science journals)를 찾아내도록 훈련한 AI가 이전까지 알려지지 않았던 1천여 개의 학술지를 확인했다고 밝혔다.

아쿠냐 교수는 이번 성과가 AI가 대규모로 연구 신뢰성 검증을 지원할 수 있는 잠재력을 보여주는 것이라며, 저널 사전 선별을 위한 보조 도구로 활용돼야 한다고 강조했다. 다만 최종 판단은 인간 전문가가 내려야 한다고 덧붙였다. ‘부실 학술지’란 수백~수천 달러를 받고 적절한 심사 과정 없이 논문을 출판해주는 저널을 의미한다. 이는 전 세계 연구 신뢰성을 위협하고 있지만, 사람이 일일이 검증하기에는 속도와 효율성에서 한계가 있다. 아쿠냐 교수는 “과학자들과 기관들 사이에서 이런 저널을 조사하려는 노력이 커지고 있지만, 이는 마치 두더지 잡기 게임과 같다”고 지적했다. 연구팀은 이번 연구에서 AI가 학술지의 웹사이트 디자인, 콘텐츠, 발간 메타데이터를 분석해 부실 학술지를 체계적으로 식별할 수 있는지를 탐색했다. 전 세계 오픈 액세스 학술지를 무료로 제공하는 온라인 데이터베이스 오픈 액세스 학술지 디렉터리(Directory of Open Access Journals, DOAJ)의 평가 기준과 과거 데이터를 활용해 AI를 훈련시킨 뒤, 인터넷에 존재하는 1만 5,200여 개의 오픈 액세스 저널을 분석하도록 했다.

DOAJ는 2003년부터 자원봉사자들이 직접 ‘동료평가 정책 설명 여부’ 등 6가지 기준에 따라 저널을 평가해 왔으며, 그 결과 수천 개의 저널이 ‘부실 의심 저널’로 분류됐다. 훈련된 AI에 지나치게 엄격하지도, 느슨하지도 않은 기준을 적용한 결과 전체의 약 10%에 해당하는 1,400여 개 저널이 ‘부실 의심 학술지’로 분류됐다. 이후 전문가 재검토 과정에서 약 350개는 신뢰할 만한 저널로 확인돼 의심 명단에서 제외됐다.

연구팀은 AI가 찾아낸 부실 의심 학술지 1천여 개가 이미 수십만 편의 논문을 출판하고 수백만 건의 인용을 받았으며, 주요 연구 지원기관의 자금을 인정받고 개발도상국 연구자들을 끌어들이고 있었다고 밝혔다. 이들은 해당 AI 시스템을 아직 공개하지 않았지만, 조만간 대학과 출판사에 제공하기를 희망한다며 “이 도구가 부실 데이터를 걸러내는 ‘과학을 위한 방화벽’이 될 수 있다”고 말했다.

아쿠냐 교수는 “과학은 다른 사람의 연구 위에 탑처럼 쌓아 올려진다. 기초가 무너지면 전체가 무너질 수 있다. 과학의 정당성이 도전을 받는 이 시대에 의심스러운 간행물의 확산을 막는 것은 그 어느 때보다 중요해졌다”고 강조했다.
<이은혜 기자>