AI가 열화상을 햇빛으로 착각하는 이유, KAIST가 줄였어요

한눈에

AI는 열화상의 밝은 부분을 햇빛으로 읽는 것처럼, 일반 사진의 습관으로 다른 센서 영상을 오해해요.
KAIST 연구팀의 첫 번째 방법은 틀리기 쉬운 오답을 일부러 보여 주는 가벼운 추가 학습으로 이 착각을 줄였어요.
두 번째 방법은 학습 없이, 질문마다 눈과 귀 중 무엇을 믿을지 저울질해 없는 소리를 지어내는 일을 줄였어요.

안녕하세요, 제시예요. AI가 사진을 보고 설명해 주는 일, 이제 꽤 익숙하시죠. 그런데 그 사진이 우리 눈으로 찍은 사진이 아니라 열화상이면 AI가 엉뚱한 말을 하기 시작해요. 열화상은 빛이 아니라 물체가 내는 열을 찍은 영상인데, AI는 밝게 나온 곳을 햇빛이 반사된 자리로 읽어 버리거든요. 2026년 7월 31일, KAIST 연구팀이 이런 착각을 줄이는 방법 두 가지를 내놨어요.

감각이 늘어날수록 헷갈릴 거리도 늘어나요

요즘 AI는 글만 읽지 않고 사진, 영상, 소리까지 함께 받아요. 이렇게 여러 감각을 한꺼번에 다루는 AI를 멀티모달 AI라고 불러요. 사람으로 치면 눈과 귀를 동시에 쓰는 셈이에요.

문제는 이런 AI가 대부분 일반 사진으로 세상을 배웠다는 점이에요. 그래서 열화상, 깊이 영상, 엑스레이처럼 찍는 원리가 전혀 다른 영상을 받아도 일반 사진을 읽던 습관대로 밝기와 색을 해석해요. 열화상에서 뜨거워서 밝은 사람을 조명을 받아 밝은 사람으로 설명하는 식이에요.

소리와 영상이 섞이면 또 다른 착각이 생겨요. 영상에는 자동차가 지나가는데 소리는 조용하다고 해 볼게요. AI가 "엔진 소리가 들린다"고 답하는 경우가 있어요. 눈으로 본 정보가 귀로 들은 정보를 밀어내면서 없는 소리를 지어낸 거예요. 이렇게 그럴듯하지만 사실이 아닌 답을 자신 있게 내놓는 현상을 환각이라고 불러요.

KAIST 전기및전자공학부 노용만 교수 연구팀이 이 두 가지 착각을 하나씩 맡았어요. 두 연구 모두 정상윤 박사과정이 제1저자이고, 첫 번째 연구에는 유영준 박사가 공동 제1저자로 참여했어요.

첫 번째, DNA: 오답 노트로 센서를 가르쳐요

첫 번째 방법의 이름은 DNA예요. 생물의 DNA와는 상관없고, '여러 가지 틀린 속성'이라는 영어의 머리글자예요. 노 교수는 이 방법을 오답 노트에 빗대 설명했어요. 사람이 틀린 문제를 모아 다시 풀며 실력을 키우듯, AI에게도 틀리기 쉬운 답을 일부러 보여 준다는 거예요.

방법은 이래요. 열화상 한 장에 질문 하나를 붙이고, 맞는 답과 함께 그럴듯하지만 센서를 잘못 이해한 오답을 보통 세 개씩 만들어요. "밝은 부분은 햇빛이 반사된 곳이다" 같은 답이 그런 오답이에요. 그리고 AI가 맞는 답을 오답들보다 넉넉한 차이로 더 믿도록 가르쳐요.

여기서 한 가지는 바로잡을게요. DNA는 학습을 전혀 안 하는 방법이 아니에요. 모델의 뼈대는 그대로 두고, 적은 자료로 살짝 덧대어 가르치는 방식이에요. 실제로 쓴 자료가 센서마다 200장, 모두 600장이었어요. 모델을 처음부터 다시 학습시키는 것과 비교하면 아주 작은 양이에요.

연구팀은 AI가 센서를 얼마나 제대로 이해하는지 재는 시험 문제집도 함께 만들어 공개했어요. 이 문제집에서 같은 자료로 평범하게 추가 학습한 모델은 75.3%를 맞혔고, DNA로 학습한 모델은 84.1%를 맞혔어요.

DNA 연구의 시험 문제집과 비교 수치 더 보기

시험 문제집의 이름은 VS-TDX예요. 열화상 1,867장, 깊이 영상 2,781장, 엑스레이 2,143장, 모두 6,791장에 질문과 답 10,160쌍이 들어 있어요. 이 문제집에서 사람은 평균 95.1%를 맞혔고, GPT-4o는 73.3%에 그쳤다고 논문은 적었어요. 위의 75.3%와 84.1%는 비교적 작은 공개 모델 '팬텀'으로 잰 값이에요. 추가 학습에는 모델 전체가 아니라 일부만 고치는 경량 방식을 썼어요.

두 번째, MAD: 이 질문엔 눈과 귀 중 무엇을 믿을까

두 번째 방법 MAD는 영상과 소리가 섞일 때 생기는 환각을 맡아요. 이쪽은 정말로 추가 학습이 없어요. AI가 답을 고르는 마지막 순간에만 끼어들어요.

먼저 AI에게 스스로 묻게 해요. "이 질문에 답하려면 영상이 필요할까, 소리가 필요할까?" AI가 내놓은 그 판단을 확률로 받아 두고, 답을 한 글자씩 고를 때 질문에 필요한 감각의 목소리는 키우고 상관없는 감각의 목소리는 줄여요. 시끄러운 식당에서 친구 말을 들을 때 옆 테이블 소리는 흘려듣고 친구 입 모양에 집중하는 것과 비슷해요.

효과는 소리와 영상을 함께 다루는 AI 두 가지로 쟀어요. 영상과 소리가 어긋난 상황에서 환각을 얼마나 덜 하는지 보는 시험 두 개에서 모두 점수가 올랐어요.

모델	시험 CMM	시험 AVHBench
VideoLLaMA2-AV	7.8% 향상	2.0% 향상
Qwen2.5-Omni	8.7% 향상	4.7% 향상

한 시험에서는 8% 안팎, 다른 시험에서는 2~5% 올랐어요. 크게 뒤집는 수준은 아니지만, 학습을 한 번도 안 하고 답 고르는 방식만 바꿔서 얻은 값이라는 점이 눈에 띄어요. 연구팀은 이 코드를 누구나 쓸 수 있게 공개했어요.

어디에 쓰일 수 있나, 그리고 남은 것

연구팀은 자율주행차, 화재 현장의 구조 로봇, 열화상 드론, 공항 보안검색, CT·MRI·엑스레이 같은 의료 영상 분석을 쓰일 곳으로 꼽았어요. 모두 AI가 한 번 잘못 보면 사람의 안전과 바로 이어지는 자리예요.

다만 지금 숫자는 연구팀이 만든 시험과 공개된 시험에서 잰 값이에요. 실제 자율주행차나 병원 장비에 얹었을 때 같은 효과가 나는지는 아직 보여 준 적이 없어요. DNA가 다룬 센서도 열화상, 깊이 영상, 엑스레이 세 가지예요.

그래도 이번 연구가 반가운 건 방향 때문이에요. 성능을 더 올리는 쪽이 아니라 AI가 모르면서 아는 척하는 순간을 줄이는 쪽이거든요. 화려한 점수보다 이런 발전이 쌓여야 AI에게 안심하고 일을 맡길 수 있는 날이 가까워질 거예요.

출처

· · ·

더 많은 글을 보려면 전체 피드를 둘러보세요.

감각이 늘어날수록 헷갈릴 거리도 늘어나요

첫 번째, DNA: 오답 노트로 센서를 가르쳐요

두 번째, MAD: 이 질문엔 눈과 귀 중 무엇을 믿을까

어디에 쓰일 수 있나, 그리고 남은 것

JessieJazzy Fish