어울리지 않는 데이터 섞어 상충하는 신호 해석 유도



한국과학기술원(KAIST)은 멀티모달 인공지능(AI)의 성능을 향상하는 학습기법을 개발했다고 오늘(14일) 밝혔습니다.

멀티모달은 텍스트와 이미지, 음성, 영상 등 다양한 유형의 데이터를 동시에 인식해 처리할 수 있는 기술입니다.

다만 그림과 글자가 함께 있을 때 그림에 사람의 시선이 먼저 가는 것처럼, 멀티모달 AI도 특정 데이터에 더 크게 의존하는 경향이 있습니다.

이처럼 한쪽 데이터에 치우쳐 판단하게 되면 예측 성능이 떨어질 수 있습니다.

전기및전자공학부 황의종 교수 연구팀은 이번에 멀티모달 AI가 모든 데이터를 고르게 인식해 더 정확하게 예측할 수 있도록 돕는 새로운 학습 데이터 증강 기술을 개발했습니다.

서로 어울리지 않는 '비정렬 데이터'를 섞어 의미가 일치하지 않는 데이터를 생성, 학습에 포함함으로써 모델이 상충하는 신호를 해석하도록 유도했습니다.

의미가 유사해 혼동하기 쉬운 비정렬 샘플에 더 큰 학습 비중을 부여하는 가중치 기법을 통해 성능도 향상시켰습니다.



황의종 교수는 "AI 성능을 높이려면 모델 구조(알고리즘)만 바꾸는 것보다 어떤 데이터를 어떻게 학습에 쓰느냐가 훨씬 중요하다"며 "이번 연구를 통해 멀티모달 인공지능이 특정 데이터에 치우치지 않고 균형 있게 정보를 활용할 수 있도록 데이터 자체를 설계하고 가공하는 접근법을 제시했다"고 말했습니다.

이번 연구 결과는 오는 12월 미국 샌디에이고와 멕시코 멕시코시티에서 열리는 AI 분야 권위 있는 학회 '신경정보처리시스템학회'(NeurIPS)에서 발표될 예정입니다.

연합뉴스TV 기사문의 및 제보 : 카톡/라인 jebo23

이은파(sw21@yna.co.kr)