학습 데이터 노출 가능성 21.8%로 분석돼
의료 분야에서 대규모언어모델(LLM)의 보안 취약성이 심각한 수준이라는 연구 결과가 나왔다. 서울아산병원 연구팀이 LLM을 대상으로 의도적인 악성 공격을 수행한 결과, 최대 81%의 높은 성공률을 보이며 개인정보 유출 위험성이 확인됐다.
서울아산병원 심장내과 김영학 교수와 아산생명과학연구원 빅데이터연구센터 전태준 박사팀은 2017년부터 2021년까지 환자 2만6434명의 의무기록 데이터를 학습한 LLM을 대상으로 악의적인 프롬프트 공격을 실험했다. 연구 결과, 특정 변형 기법을 적용한 경우 모델의 보안 장치가 최대 80.8%까지 무력화됐으며, 학습 데이터 노출 가능성도 21.8%에 달했다.
연구팀은 다양한 방식의 프롬프트 변형 기법을 적용했다. 특히, 미국정보교환표준코드(ASCII) 방식으로 문자를 인코딩한 프롬프트를 입력했을 때 보안 우회 확률이 가장 높았다. 또한, 모델이 답변을 생성하는 과정에서 환자 개인 정보뿐만 아니라 의료진의 이름과 전문 분야까지 포함된 구체적인 원본 데이터가 유출되는 사례도 확인됐다.
이 연구는 서울아산병원 임상연구심의위원회(IRB)의 승인하에 윤리적으로 검증된 데이터를 사용해 진행됐다. 연구 결과는 임상의학 분야 최고 권위 학술지인 NEJM(New England Journal of Medicine)의 AI 특화 자매지 ‘NEJM AI’에 게재됐다.
대규모언어모델은 방대한 데이터를 학습해 자연어 이해와 생성 능력을 갖춘 기술로, 의료 분야에서는 영상 판독, 맞춤형 치료 계획 수립, 전자의무기록(EMR) 자동화 등에 활용될 수 있다. 그러나 연구팀은 LLM의 보안이 취약할 경우 환자 정보 유출로 인한 법적, 윤리적 문제가 심각하게 발생할 수 있다고 경고했다.
김영학 교수는 “의료 분야에서 LLM의 활용 가능성이 크지만, 보안 강화 없이는 심각한 개인정보 유출을 초래할 수 있다”며 “독립적으로 운영되는 의료 특화형 LLM을 개발해 보안성을 강화해야 한다”고 강조했다.
