단국대 김선오 교수 연구팀, AI 신뢰도 위협하는 '적대적 공격' 방어 기술 개발

- 다중 시점 분석으로 기존 모델 재학습 없이도 공격 탐지·보정

- 정확성과 신뢰도가 중요한 자율주행·보안·의료 등 분야에 활용 기대

- 연구팀, 여러 이미지 동시 분석하는 ‘MAC’ 기법 제안

- "AI 스스로 재검증하는 것이 핵심"… 오는 6월 국제 학술대회서 정식 발표

[비욘드포스트 이봉진 기자] 인공지능(AI)을 교란해 잘못된 판단을 내리게 만드는 이른바 'AI 속임수'를 원천적으로 방어할 수 있는 기술이 국내 연구진에 의해 개발됐다.

단국대학교는 김선오 교수(AI융합대학 컴퓨터공학과) 연구팀이 엄대호 교수(서울시립대)와 공동으로 AI의 판단 신뢰도를 떨어뜨리는 ‘적대적 공격(Adversarial Attack)’을 효과적으로 방어하는 기술을 개발했다고 20일 밝혔다.
‘적대적 공격’이란 이미지나 데이터에 사람이 인지하기 어려울 정도로 미세한 변형을 추가해, AI가 이를 전혀 다른 대상으로 잘못 인식하도록 만드는 수법이다.

이러한 취약점은 결과의 왜곡을 불러와 자율주행, 보안 시스템, 의료 영상 판독 등 높은 정확성과 신뢰성이 필수적인 분야에서 심각한 위험 요소로 지적돼 왔다. 특히 기존의 AI 모델들은 단 하나의 입력된 이미지에만 의존해 판단을 내리는 방식이어서, 작은 교란에도 쉽게 잘못된 결과를 산출하는 한계가 존재했다.

연구팀은 이 같은 한계를 극복하기 위해 ‘MAC(Multi-View Guided Adaptive Counterattack)’ 기법을 새롭게 제안했다.
‘MAC’은 하나의 입력 이미지로 결과를 도출하던 기존 AI 모델과 달리, 여러 이미지를 동시에 분석하여 데이터의 변형 및 오염 정도를 추정하고 이에 맞춰 결과를 스스로 보정하는 진일보한 방식이다.

이 기술의 가장 큰 장점은 높은 경제성과 효율성이다. 기존 모델을 다시 학습시키는 번거로운 과정 없이, 추론 단계에서부터 즉시 적용이 가능하다. 따라서 추가적인 학습 비용이 발생하지 않으며, 추론 속도와 메모리 효율성을 안정적으로 확보해 최적의 성능을 유지할 수 있다.

연구팀은 다양한 데이터셋과 공격 환경에서 성능 검증을 마쳐 실제 산업 현장에서의 활용 가능성도 입증했다.

김선오 교수는 “AI가 입력된 데이터를 다양한 시각에서 재검증하고, 공격 정도에 따라 스스로 보정하도록 설계한 것이 이번 연구의 핵심”이라고 설명하며, “AI의 안전성과 신뢰성이 중요한 자율주행, 보안, 의료영상 등 다양한 분야에서 널리 활용될 것으로 기대한다”고 밝혔다.

한편, 이번 연구 성과는 컴퓨터 비전 분야의 세계 최고 권위 국제 학술대회인 ‘IEEE/CVF CVPR(Conference on Computer Vision and Pattern Recognition)’에 지난 2월 채택됐으며, 오는 6월 열리는 학술대회에서 정식으로 발표될 예정이다.

해당 논문의 제목은 「When CLIP Sees More, It Fights Back Harder: Multi-View Guided Adaptive Counterattacks for Test-Time Adversarial Robustness」이다.

bjlee@beyondpost.co.kr