미국 의료단체들이 정부에 생성형 인공지능(AI)을 사용하는 의료기기 안전성 및 성능에 대해 ‘의료 제공자’가 아닌 ‘개발사’가 책임을 부담해야 한다고 목소리를 냈다.

27일 외신에 따르면 미국병원협회(AHA), 미국의사협회(AMA), 미국원격의료협회(ATA)는 최근 미국 식품의약국(FDA)에 이 같은 내용을 담은 의견서를 제출했다.

이번 의견 제출은 생성형 AI 기반 의료기기 규제 방안에 대한 관련 업계 의견을 듣고자 FDA가 요청한 것이다. 

생성형 AI 기반 의료기기가 빠른 속도로 발전함에 따라 이들이 일으키는 오류에 대한 책임 소재를 두고 의료현장에서 골머리를 앓고 있다.

의료진이 책임을 떠안을 경우 의료소송에 노출될 위험이 커지고, 반대로 테크 기업이 가진다면 과실치상 책임을 부담하게 된다. 이에 양측 모두 민감하게 반응할 수밖에 없는 상황이다. 

미국 의사들은 생성형 AI 기반 의료기기 자체가 일으킨 오류는 ‘개발사’가 책임져야 한다는 입장이다. 그 이유는 AI 모델 자체의 투명성이 부족하기 때문이다. 

병원협회는 “헬스케어시스템이 일반적인 AI 기기를 검토할 수 있는 거버넌스 체계를 갖추고 있지만 생성형AI 모델은 실제 어떻게 작동하고 결함이 생기는지 의료진이 이해하기 어렵다”고 전했다.

이어 “병원과 보건의료 시스템이 평가 및 모니터링 활동을 지원하지만 공급업체와 개발사가 자신들이 판매하는 기기의 지속적인 성능 및 유지 관리, 무결성에 대한 책임을 져야 한다”고 강조했다.

“위험 평가 시 AI 감독하는 인간도 포함시켜야” 

또한 책임 소재 외에도 생성형 AI 의료기기 위험성을 평가하는 툴도 필요하다는 입장이다. 그러나 단순한 활동이나 작업 유형만으로는 예측하기 어렵기에 다양한 변수를 포함시켜야 한다고 봤다.

병협은 “기기가 단순 정보 제공용인지, 실제 후발 조치로 이어지는지, 인간 의사 감독 아래 조치가 이뤄지는 등과 같은 단순 활동이나 작업 유형만으로는 위험 예측에 한계가 있다”고 지적했다.

이들은 “프레임워크(위험성 평가 툴)는 기기의 활동 수준만 평가하기 보단 특정 기기 사용에 따른 오류나 부정적 결과의 발생 가능성 등 더 많은 변수를 포함해야 한다”고 제안했다. 

의사협회는 “의사가 AI 제안을 검토하는 과정에서 오류를 범할 수 있고, AI에 너무 의존하게 돼 효과적으로 감독을 못할 수 있다”며 “위험 평가 시 AI를 감독하는 인간에 대한 평가도 포함해야 한다”고 피력했다. 

아울러 미국 의사들은 FDA가 부작용 사례를 보고하는 절차를 마련하고, 환자와 의료진에게 해당 기기의 기능과 잠재적 위험에 대한 정보를 제공하는 ‘라벨’을 개발할 것도 요구했다. 

의료 현장에서 AI 도입이 활성화되려면 기술에 대한 신뢰가 필수적인 만큼 신뢰할 수 있는 기관으로부터 검증받고 지속적으로 모니터링 되는 AI 기기를 원한다는 것이다. 

FDA는 이 같은 의견을 담은 규제안을 준비 중이다. 

릭 에이브럼슨(Rick Abramson) FDA 디지털헬스센터장은 최근 “생성형 AI 기반 의료기기 규제 방안에 대한 가이드라인 초안을 수개월 내 공개할 계획”이라고 밝혔다.