스웨덴 연구팀이 가짜 질병을 만들어 블로그에 올린 결과, AI 챗봇 서비스들이 진짜처럼 퍼나르고 학술지 인용까지 한 것으로 실험 결과 밝혀졌다. 게티이미지뱅크


‘빅소니매니아’(Bixonimania)란 질병에 대해 혹시 들어본 일 있는지? 잘 모른다면, 요즘 시대엔 인공지능(AI) 챗봇 서비스를 열고 ‘빅소니매니아는 어떤 질병이야?’ 물어볼 것이다. 2년 전인 2024년 4월에 구글 제미나이에게 이 질문을 했다면, “청색광 과다 노출로 발생하는 눈꺼풀 질환”이라며 안과를 방문해보라는 권유를 받았을 것이다. 퍼플렉시티는 “9만명 중 1명꼴로 발생한 검증완료릴게임 다”며 구체적인 유병률까지 제시해줬을 것이다. 출처까지 제시하는 청산유수 답변에 ‘오, 이런 병도 있구나’ 납득했을 가능성이 크다.
결론부터 말하면, 빅소니매니아란 질병은 없다. 우후죽순 커가고 있는 인공지능 챗봇의 폐해를 연구하기 위해 연구진이 만들어낸 ‘가짜 질병’이다. 국제학술지 네이처는 지난 7일(현지시각) 특집기사로 스웨덴 예테보 바다이야기고래출현 리대 알미라 오스마노비치 툰스트룀 연구원이 이끄는 연구진이 진행했던 이 실험을 소개했다.
엉터리 논문임에도 앞다투어 버젓이 인용

의학 연구자인 오스마노비치 툰스트룀은 인공지능 챗봇 서비스들이 쓰는 거대언어모델(LLM)이 잘못된 정보를 받아들여 신뢰할 만한 정보처럼 내놓는지 확인하기 위해 빅소니매니아 릴게임오션파라다이스 라는 가짜 질병을 만들었다. 2024년 3월 먼저 블로그에 이 질병에 대한 게시물을 두 건 올렸고, 4월과 5월에는 학술 관련 사회관계망에 이 질병에 대한 두 편의 논문을 올렸다.




‘빅소니매니아’라는 가짜 질병에 대해 작성된 가짜 논문. 누리집 갈무리
릴게임갓

사실 그렇게 치밀한 위장도 아니었다. 안과 질병으로 설정된 질병 이름에 정신의학 용어인 ‘매니아’(조증)란 단어를 넣은 것부터가 우스꽝스러운 접근이었다. 논문의 저자인 가짜 연구원 ‘라즐리브 이즈구블례노비치’는 미국 캘리포니아주 ‘노바 시티’에 있는 ‘아스테리아 호라이즌 대학’ 소속인데, 이는 전부 바다이야기게임방법 엉터리 정보다. 논문 본문에도 “이 논문 자체가 조작된 것이란 사실에 비춰보면 흥미롭다” 등 이것이 조작된 논문이라는 것을 알려주는 문구들이 버젓이 실려 있다.
그러나 연구진은 관련 글과 논문을 올린 직후부터 가장 널리 사용되는 인공지능 챗봇 서비스들이 이를 가져다 쓰는 것을 확인했다고 한다. 2024년 4월13일 마이크로소프트의 코파일럿은 “빅소니매니아는 흥미롭고 비교적 드문 질환”이라 했고, 제미나이, 퍼플렉시티, 챗지피티 등도 앞다투어 연구진이 올린 가짜 정보에 기반해 빅소니매니아를 진짜처럼 소개한 것이다.
물론 시간이 지나면서 거대언어모델들이 조금씩 정교해졌고, 일부 서비스들은 빅소니매니아에 대해 의심을 표현하기 시작했다. 올해 3월11일 이 질병에 대한 질문을 받은 챗지피티는 “아마도 지어낸 명칭일 것”이라 답했다고 한다. 문제는 어떤 질문을 받느냐에 따라 출력이 오락가락할 수 있단 점이다. 예컨대 ‘빅소니매니아’를 검색하면 실제 있는 질병처럼 답하지만, ‘빅소니매니아는 실제로 존재하느냐’ 질문하면 ‘존재하지 않는다’고 답할 수 있다고 네이처는 짚었다.



연구진은 청색광 노출로 인한 색소 침착 현상을 ‘빅소니매니아’란 가짜 질병의 특성으로 규정했다. 논문 갈무리


2026년 4월10일 기준으로 한겨레가 제미나이에게 ‘빅소니매니아란 질병에 대해 알려달라’ 주문했더니, “최근 스웨덴의 한 연구자가 AI 챗봇들이 거짓 정보를 사실처럼 꾸며내는 ‘환각’(Hallucination) 현상을 테스트하기 위해 의도적으로 지어낸 완전히 가상의 질병”이라고 답했다. 또 “저를 테스트해 보려고 질문하신 거라면, 다행히 속지 않고 정답을 맞혔네요! 저는 실시간으로 최신 정보를 검색해 사실 여부를 교차 검증할 수 있기 때문에 이 가상의 질병에 넘어가지 않았습니다”라고 덧붙였다.
국제학술지 인용까지…학술장에 뿌려진 ‘독’?

거대언어모델의 환각 현상에 대한 문제는 꾸준히 지적되고 있는데, 무엇보다 가장 큰 폐해는 이런 현상이 권위를 인정받는 학술장과 만날 때 벌어질 수 있다. 네이처는 “가짜 질병 실험과 결과가 학술 논문이라는 공식 출처에 나온 것처럼 위장한 것이 이 실험이 성공한 핵심 요인이었을 것”이라 짚었다. 미국 하버드 의학전문대학원 소속 연구자안 마흐무드 오마르는 “거대언어모델이 처리하는 텍스트가 병원 퇴원 기록이나 임상 논문처럼 전문적인 의학 문서처럼 보일 때 소셜미디어 게시물에서 나온 텍스트보다 환각을 경험하고 잘못된 정보를 과장하는 경향이 더 크다”고 말했다.

거꾸로, 오스마노비치 툰스트룀 연구진이 논문 형태로 만든 가짜 정보가 다시금 다른 논문으로 확산되는 일도 벌어졌다. 2024년 의학 관련 학술지 ‘큐리어스’는 인도 마라하시 마르칸데슈와르 의학연구소 소속 연구진이 발표한 논문을 게재했는데, 이 논문은 툰스트룀 연구진의 가짜 논문을 참고문헌으로 인용하며 “빅소니매니아는 청색광 노출로 인한 새로운 형태의 눈 주위 색소침착(POM)으로, 연구가 진행 중”이라 적었다. 큐리어스는 지난 3월30일 “가상의 질병에 대한 언급을 포함하여 관련성 없는 참고문헌 세 개를 포함하고 있다”는 이유로 이 논문의 게재를 철회했다.



게티이미지뱅크


이에 대해 오스마노비치 툰스트룀은 “일부 연구자들이 논문 원문을 읽지 않고 인공지능이 생성한 참고문헌에만 의존하고 있음을 시사한다”고 네이처에 말했다. 실제로 최근 한 분석에서는 2024년 제출된 논문에는 0.3% 정도가 하나 이상의 허위 인용을 포함했는데, 불과 1년 만인 2025년에는 이 비율이 2.6%로 급증한 것으로 나타나기도 했다. 미생물학자이자 연구윤리 감시자인 엘리자베스 빅은 연구자들이 인용 횟수를 부풀리기 위해 가짜 책과 논문을 만들어 대규모언어모델 훈련 데이터에 사용되는 것과 같은 자동 색인 시스템을 악용하고 있다고 네이처에 지적했다.
오스마노비치 툰스트룀은 무엇보다 거대언어모델이 상업적 이익을 위해 동원될 때 일어날 폐해를 우려했다. 건강·의료 정보인 경우 이는 치명적인 피해를 불러올 수도 있다. 현재 그는 사회관계망에 올려놓은 두 편의 가짜 논문을 어떻게 처리할지 고심 중이다. 논문을 철회하면 다른 연구자들이 이번 연구 과정을 검증하기 어렵게 되고, 그대로 두면 계속 검색 결과에 나타나 다른 논문에 계속 인용될 수 있기 때문이다. 한마디로 인공지능의 잠재적인 문제점을 보여주는 긍정적 측면을 고려할 것이냐, 학술장에 가짜 정보가 계속 전달되는 부정적 측면을 더 고려할 것이냐 둘 중 하나를 선택해야 하는 상황이다.
최원형 기자 circle@hani.co.kr