단국대 이용진 교수팀, 의대 실습용 'AI 가상 환자' 평가 체계 개발…'NeurIPS 2026' 채택

- GPT-4o 등 4종 대형언어모델(LLM) 분석…의학교육 전문가 모범 답변과 블라인드 대조

- 시간·비용 제약 큰 '표준화 환자' 대체 기대…실제 진료 플랫폼 적용해 지속 검증

- 이용진 교수 "지역의료 인력 양성 및 의대 교육 수요 증가 대응할 실질적 프로그램 고도화할 것"

[비욘드포스트 이봉진 기자] 단국대학교(총장 안순철) 의학과 이용진 교수 연구팀이 서울대학교 김세중 교수, 박진용 연구원과 공동으로 의과대학 학생들의 진료 실습에 활용되는 '인공지능(AI) 가상 환자' 평가 체계를 개발했다고 밝혔다.

이번 연구 성과를 담은 논문은 세계 3대 머신러닝 학술대회로 평가받는 'NeurIPS 2026((Neural Information Processing Systems)'에 채택됐다. 연구팀은 오는 12월 6일부터 13일까지 호주 시드니에서 열리는 학술대회의 '데이터셋 및 벤치마크 트랙'에서 해당 내용을 공식 발표할 예정이다.
최근 의대 정원 확대 등으로 임상 진료 실습 수요가 급증하는 가운데, AI 가상 환자는 유력한 교육 대안으로 떠오르고 있다. 기존 진료수행평가(CPX)는 실제 환자 역할을 하는 '표준화 환자(SP)'를 직접 섭외해야 해 시간과 비용 제약이 컸다. 반면 AI 가상 환자는 시공간 제약 없이 반복 실습이 가능하지만, 그간 의학적 답변의 정확성과 환자로서의 대화 능력을 객관적으로 검증할 기준이 부족했다.

이 같은 한계를 극복하기 위해 연구팀은 ▲GPT-4o ▲클로드 3.5 소네트 ▲라마 3.1 70B ▲하이퍼클로바X 등 4종의 최신 대형언어모델(LLM)을 활용해 평가 지표를 구축했다.

고학년 의대생 17명이 AI 모델의 종류를 모르는 상태(블라인드)로 평가에 참여해 총 7,480건의 평가 점수를 수집했다. 연구팀은 수집된 데이터를 의학교육 전문가의 모범 답변과 대조하고, 이를 11개 병력 청취 문항 범주와 3가지 언어 형식으로 정밀 분석했다.
분석 결과, AI 가상 환자는 대부분의 문항에서 의학교육 전문가의 답변에 근접할 만큼 높은 사실 정확도를 기록했다.

그러나 환자의 핵심 증상을 파악하는 '주호소 파악', 질병 및 치료법을 설명하는 '환자 교육', 증상을 토대로 질환을 추정하는 '임상 추론' 과정에서는 언어적 유창성이 다소 떨어지는 것으로 나타났다. 특히 한국어로 구성된 부정형 질문에서 대화의 자연스러움이 저하되는 현상이 발견되어, AI의 임상 대화 능력을 보완할 필요성이 제기됐다.

연구팀은 개발된 평가 체계를 현재 운영 중인 웹 기반 진료 실습 플랫폼에 도입해, AI 가상 환자의 자동 채점 기준과 답변 품질을 지속해서 고도화할 방침이다.

이용진 교수는 "의학교육 전문가가 직접 설계한 AI 가상 환자 평가 체계가 세계 최정상급 인공지능 학술대회에서 인정받아 뜻깊다"며 "이번 연구를 기점으로 AI의 대화 능력을 개선하고, 의대 정원 확대 및 지역의료 인력 양성에 맞춘 실질적인 진료 실습 프로그램 개발에 주력하겠다"고 밝혔다.

한편, 이번 연구(논문명: A Stratified Multi-Rater Evaluation of LLM-Based Virtual Standardized Patients with a Deployed Data-Generation Platform)는 한국연구재단 바이오·의료기술개발사업과 한국보건산업진흥원 보건의료기술연구개발사업의 지원을 통해 진행됐다.

bjlee@beyondpost.co.kr