최근 생성형 인공지능 챗봇에게 질환 상담을 하는 사례가 늘고 있는 가운데 상용 중인 AI 모델 대부분이 악의적 공격에 무방비로 당해 잘못된 치료를 권할 위험이 매우 높은 것으로 나타났다.

서울아산병원 비뇨의학과 서준교 교수팀은 의료용 대규모 언어모델(LLM)이 프롬프트 인젝션 공격에 94% 이상 취약하다는 사실을 확인했다고 5일 밝혔다.

프롬프트 인젝션 공격은 해커가 생성형 AI 모델에 악의적인 명령어(프롬프트)를 삽입해 본래 의도와는 다르게 동작하도록 유도하는 사이버 공격이다.

특히 최상위 AI 모델인 GPT-5와 제미나이 2.5 프로마저도 프롬프트 인젝션 공격에 100% 노출돼 임산부에게 태아 장애를 유발하는 약물을 권고하는 등 안전성에 심각한 한계를 보였다.

이번 연구는 AI 모델을 의료 상담에 적용할 때 AI 모델이 프롬프트 인젝션 공격에 얼마나 취약한지를 세계 처음 체계적으로 분석했다는 점에서 의의가 크다. 

향후 AI 모델을 임상에 적용할 경우 안전성 검증과 같은 추가적인 조치가 필요할 전망이다.

서준교 교수는 "이번 연구는 의료용 AI 모델이 단순 오류를 넘어 의도적 조작에 구조적으로 취약하다는 사실을 규명했다는 점에서 의미가 있다"고 말했다.

이어 "현재의 안전장치만으로는 금기 약물 처방을 유도하는 등의 악의적 공격을 차단하기가 어렵다"고 덧붙였다.

아울러 "환자 대상 의료 챗봇이나 원격 상담 시스템을 도입하기 위해서는 AI 모델의 취약성과 안전성을 철저히 테스트하고 보안 검증체계를 의무화하는 조치가 필요하다"고 강조했다.

한편, 이번 연구결과는 미국의사협회가 발간하는 국제학술지 ‘자마 네트워크 오픈’ 최근호에 게재됐다.