최근 연구에 따르면, 인공지능(AI) 모델의 시각적 표현을 재구성하는 것만으로도 시스템의 유용성과 신뢰성을 크게 높일 수 있습니다. 현재 AI 비전 기술은 사진 분류나 자율 주행 등 광범위하게 사용되지만, 인간이 세상을 인식하는 방식과는 차이가 있어 예상치 못한 오류를 범하기도 합니다.

연구진은 인지과학의 고전적인 '이상한 것 찾기(odd-one-out)' 과제를 활용하여 AI와 인간 지식 구조 간의 불일치를 분석했습니다. 이 테스트는 모델이 어떤 사물들을 가장 유사하다고 인식하는지를 밝혀줍니다. 흥미롭게도, 많은 경우 사람들이 정답에 동의함에도 불구하고 AI 모델은 배경색이나 질감 같은 피상적인 특징에 집중하여 잘못된 판단을 내리는 경우가 발견되었습니다.

이러한 문제를 해결하기 위해 연구진은 3단계의 정렬(alignment) 방법을 제안했습니다. 첫째, 강력하게 사전 학습된 비전 모델 위에 작은 어댑터(adapter)를 추가하고 '이상한 것 찾기' 데이터셋을 이용해 교사 모델(teacher model)을 만듭니다. 둘째, 이 교사 모델이 인간의 판단 역할을 대신하여 수백만 장의 이미지로 구성된 방대한 가상 데이터셋(AligNet)을 생성합니다. 마지막으로, 학생 모델(student models)들을 이 새로운 데이터셋으로 미세 조정(fine-tune)함으로써 오버피팅(overfitting) 문제를 해결하고 내부 지도를 재구조화할 수 있습니다.

이 과정을 거치면 AI의 내부 표현은 무질서한 덩어리에서 벗어나, 동물이나 음식 같은 고수준 개념들이 명확하게 분리된 구조적인 형태로 변화합니다. 이처럼 모델을 인간의 계층적 지식 구조에 맞게 정렬함으로써, AI는 사물 간의 '개념적 거리(conceptual distance)'를 파악하고 일반화 능력을 크게 향상시킬 수 있습니다.