[대전=뉴스프리존] 이기종 기자= 한국과학기술원(KAIST)은 전산학부 이재길 교수팀이 적은 양의 훈련 데이터가 존재할 때도 높은 예측 정확도를 달성할 수 있는 새로운 훈련 기술을 개발했다고 29일 밝혔다.

최근 다양한 분야에서 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다.

서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하고 충분한 훈련 데이터를 준비해야 한다.

특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 예를 들어, ‘낙타’의 주요 특성이 등에 있는 ‘혹’이라는 것을 알아내기 위해 데이터를 작성했다.

이 과정에서 훈련 데이터가 불충분할 경우 다른 특성까지도 같이 추출될 수 있는 문제가 발생할 수 있어 낙타 ‘혹’을 찾았는데 사막이 등장하거나 심지어는 동물원이 나올 수 있다.

이번 연구팀은 이러한 제한점을 해결하기 위해 심층 학습 모델의 훈련에서 바람직하지 않은 특성을 억제하고 정확도를 향상할 수 있는 기술을 개발했다.

연구과정을 보면 바람직하지 않은 특성을 억제하기 위해 분포 外(out-of-distribution) 데이터를 활용했다.

이 분포 외 데이터는 훈련 데이터의 바람직한 특성은 가지고 있지 않으나 바람직하지 않은 특성은 공유하기 때문이다.

이후 분포 외 데이터에서 추출된 모든 특성은 영(0) 벡터가 되어 소멸하도록 심층 학습 모델의 학습 과정을 규제했다.

이 방법론을 ‘비선호(比選好) 특성 억제’라고 이름 붙이고 이미지 데이터 분석의 세 가지 주요 문제에 적용했다.

이렇게 훈련되는 심층 학습 모델에서는 훈련 데이터에 포함된 바람직하지 않은 특성도 같이 억제되는 효과를 얻었다.

이 연구결과에 의하면 이미지 데이터 분석의 세 가지 주요 문제에서 기존 최신 방법론과 비교했을 때 이미지 분류 문제에서 최대 12% 예측 정확도가 향상됐다.

제1저자인 박동민 박사과정 학생은 “이번 기술은 훈련 데이터 부족 현상을 해결할 수 있는 새로운 방법” 이라면서 “분류, 회귀 분석을 비롯한 다양한 기계 학습 문제에 폭넓게 적용될 수 있어 심층 학습의 전반적인 성능 개선에 기여할 수 있다”고 말했다.

이어 이재길 교수는 “이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다”고 덧붙였다.

KAIST 지식서비스공학대학원 박동민 박사과정 학생이 제1저자, 송환준 박사, 김민석 박사과정 학생이 제2, 제3저자로 참여한 연구는 최고권위 국제학술대회 ‘신경정보처리시스템학회(NeurIPS) 2021’에서 올해 12월 발표될 예정이다.