실력이 없을수록 자신만만하다는 더닝-크루거 효과, 그 심리를 빼고 지어낸 숫자에서도 같은 그래프가 나왔습니다

안녕하세요, 태오입니다. 「저 사람 딱 더닝-크루거야」라는 말을 한 번쯤 들어 보셨을 겁니다. 실력이 없는 사람일수록 자기 실력을 높게 본다는 뜻으로 쓰입니다. 남을 조용히 깎아내릴 때 이만큼 편한 말도 드뭅니다. 그런데 여러분이 다음에 그 말을 쓰기 전에 알아 두면 좋을 것이 하나 있습니다. 그 유명한 그래프는 사람의 심리가 아니라 계산 방식이 만들어 낸 모양일 수 있다는 것입니다.

1999년, 코넬대학교의 시험지에서 나왔습니다

이 말의 출처는 1999년입니다. 코넬대학교의 저스틴 크루거와 데이비드 더닝이 학부생들에게 유머 감각, 문법, 논리 세 가지 시험을 치르게 했습니다. 그리고 물었습니다. 같은 학교 학생 100명을 성적순으로 한 줄 세우면 본인은 몇 번째쯤 될 것 같으냐고요.

성적이 가장 낮은 4분의 1에 속한 학생들의 실제 자리는 아래에서 12번째였습니다. 그런데 본인들이 답한 자리는 62번째였습니다.

두 연구자의 설명은 이랬습니다. 실력이 없는 사람은 두 가지를 한꺼번에 잃습니다. 틀린 답을 고르고, 그 답이 틀렸다는 것을 알아볼 능력까지 없습니다. 자기 답을 채점하려면 애초에 그 분야를 알아야 하기 때문입니다. 논문의 제목이 그 상태를 그대로 적어 두었습니다. **「미숙하고, 그 사실도 모른다」**입니다.

그 그래프를 그리는 데 그 심리가 필요하지 않았습니다

문제는 그다음입니다. 저 그래프를 만드는 데는 아주 흔한 성질 두 가지면 충분합니다.

첫째는 평균 이상 착각입니다. 무엇을 물어도 대부분의 사람이 자기는 평균보다 낫다고 답하는 현상입니다. 지능에 대해 자기가 평균 이하라고 답하는 사람은 스무 명 중 한 명 정도입니다. 사람들이 스스로 매기는 지능 점수의 평균은 115쯤인데, 실제 검사의 평균은 100입니다.

둘째는 평균으로의 회귀입니다. 키가 아주 큰 부모에게서 태어난 아이는 부모만큼 크지 않고 평균 쪽으로 조금 돌아오는 경우가 많습니다. 두 값이 완벽하게 붙어 다니지 않으면 언제나 이런 일이 생깁니다. 한쪽 끝에 있는 사람은 다른 쪽에서 가운데로 끌려옵니다. 자기평가와 실제 실력도 완벽하게 붙어 다니지 않습니다.

2020년에 호주와 폴란드의 두 연구자가 이 두 가지만 넣고 1,000명분의 숫자를 컴퓨터로 지어냈습니다. 자기평가는 실제보다 높게, 둘 사이의 관계는 느슨하게 설정했습니다. 「못하는 사람이 자기를 모른다」는 심리는 한 줄도 넣지 않았습니다.

그리고 1999년과 똑같은 방식으로 성적을 네 등분해 그래프를 그렸습니다. 교과서에 실리는 그 모양이 그대로 나왔습니다. 아래 칸에서 자기평가와 실제 성적의 간격이 크게 벌어지고, 위로 갈수록 좁아졌습니다. 넣은 적이 없는 것이 그림에서는 보였습니다.

시뮬레이션에 넣은 값과, 왜 그것이 함정인지

연구진은 변수를 둘 만들었습니다. 실제 지능은 평균 100, 자기평가 지능은 평균 125로 두었습니다. 그 차이가 평균 이상 착각의 크기입니다. 둘 사이의 상관계수는 0.30으로 잡았는데, 여러 메타분석에서 실제로 관측된 값입니다. 상관계수는 두 값이 얼마나 같은 방향으로 움직이는지를 나타내는 수치이고, 0.30은 「조금 같이 움직인다」에 해당합니다. 함정은 여기 있습니다. 이 두 조건만으로도 네 등분 그래프가 더닝-크루거 모양을 만들어 냅니다. 그러니 그 모양이 나왔다는 사실 자체로는 아무것도 증명되지 않습니다.

사람을 다시 재보니 보이지 않았습니다

지어낸 숫자만 가지고 이야기할 수는 없습니다. 같은 연구진이 실제 사람 929명을 대상으로 다시 쟀습니다. 참가자들은 자기 지능이 어느 정도일 것 같은지 답했고, 그다음 도형의 규칙을 찾아 빈칸을 채우는 지능 검사를 실제로 풀었습니다.

이번에는 네 등분 그래프를 그리지 않았습니다. 그 방법이 방금 본 함정을 안고 있기 때문입니다. 대신 두 가지를 확인했습니다.

하나는 예측이 빗나가는 정도가 실력이 낮은 쪽에서 더 큰지입니다. 더닝-크루거 가설이 맞다면 그래야 합니다. 다른 하나는 자기평가와 실제 실력의 관계가 곡선인지입니다. 아래쪽에서만 유독 크게 어긋난다면 직선이 나올 수 없습니다.

둘 다 아니었습니다. 어긋나는 정도는 실력의 전 구간에서 비슷했고, 관계는 사실상 완전한 직선이었습니다. 논문의 제목이 결론입니다. 더닝-크루거 효과는 대체로 통계적 착시라는 것입니다.

반대편의 답변도 있습니다

이 논문으로 논쟁이 끝나지는 않았습니다. 2023년에 반론이 두 편 나왔습니다.

한 편은 자기평가를 숫자로 옮기는 방식이 잘못됐다고 지적했습니다. 사람들이 「상위 몇 퍼센트」로 답한 것을 곧바로 지능 점수 눈금에 얹었는데, 두 눈금은 간격이 다르다는 것입니다. 원저자들은 지적받은 방식으로 데이터를 다시 계산했습니다. 결과는 같았습니다. 그 답변의 제목이 「여전히 더닝-크루거 효과는 없다」입니다.

다른 한 편이 더 무겁습니다. 표본이 일반 인구를 잘 대표하지 못한다는 점을 보완해 다시 분석했더니, 이번에는 통계적으로 유의한 더닝-크루거 효과가 나왔습니다. 다만 그 논문은 결론에서 스스로 덧붙였습니다. 효과의 크기가 너무 작아 의미가 있는지 의문이라고요.

정리하면 이렇습니다. 효과가 없다는 쪽과, 있기는 한데 미미하다는 쪽이 맞서고 있습니다. 어느 쪽에 서든 「실력 없는 사람은 자기가 못하는 줄 모른다」를 단정할 근거는 되지 못합니다.

방향이 뒤집힙니다

여기서 살아남는 숫자가 하나 있습니다. 자기가 매긴 실력과 실제로 잰 실력 사이의 관계를 여러 분야에서 모아 보면 상관계수가 0.3 언저리입니다. 학업이든 지능이든 운동 능력이든 비슷합니다.

이 값이 뜻하는 것은 분명합니다. 사람은 자기 실력을 조금 압니다. 잘 알지는 못합니다. 그런데 그것은 하위권만의 이야기가 아닙니다. 상위권도 똑같이 잘 모릅니다. 앞의 연구에서 어긋나는 정도가 전 구간에서 비슷했다는 결과가 바로 그 말입니다.

원래 이야기와 방향이 반대입니다. 더닝-크루거는 남을 가리킬 때 쓰는 말입니다. 다시 잰 결과가 가리키는 것은 자기 자신입니다.

그러면 무엇을 하면 됩니까

1999년 논문에서 지금도 살아남는 부분이 있습니다. 네 번째 실험입니다. 이 실험은 논쟁의 바깥에 있습니다.

연구진은 코넬대 학생 140명에게 논리 시험을 치르게 하고 자기 성적을 예상하게 했습니다. 그다음 절반에게만 짧은 논리 수업 자료를 읽게 했습니다. 그리고 모두에게 자기 성적을 다시 예상하게 했습니다.

성적 하위 25% 학생들	처음 예상	다시 예상	실제
논리 수업을 받은 쪽	50번째	31번째	14번째
받지 않은 쪽	55번째	54번째	12번째

수업을 받은 쪽은 자기 예상을 스무 계단 가까이 내렸습니다. 받지 않은 쪽은 그대로였습니다. 눈여겨볼 것은 학생들이 자기를 더 깊이 들여다봐서 정확해진 것이 아니라는 점입니다. 논리를 배웠기 때문에 자기 답이 틀렸다는 것을 알아볼 수 있게 된 것입니다.

자기 실력을 아는 방법은 자기를 노려보는 것이 아니라 그 분야를 배우는 것, 그리고 남이 채점한 결과를 직접 확인하는 것입니다. 이것은 논쟁이 끝나지 않아도 오늘 쓸 수 있는 결론입니다.

이 실험의 한계도 함께 보기

표본이 작습니다. 성적 하위 4분의 1에 속하면서 수업을 받은 학생은 19명, 받지 않은 학생은 18명이었습니다. 이 정도 크기에서는 우연히 벌어진 차이일 가능성을 완전히 배제하기 어렵습니다. 참가자가 모두 한 대학의 학부생이라 일반 성인에게 그대로 옮기기도 어렵습니다. 다만 이 실험은 네 등분 그래프의 모양을 근거로 삼지 않았습니다. 수업을 넣기 전과 후를 같은 사람 안에서 비교했습니다. 그래서 앞서 문제가 된 계산 방식의 함정에서는 비켜서 있습니다.

제 생각은 이렇습니다

이 논쟁을 보고 나서 달라진 것은 지식이 아니라 말버릇입니다.

남을 더닝-크루거라고 부르는 말은 진단처럼 들리지만 대개 평가절하입니다. 그리고 그 말을 꺼내는 순간, 저는 제가 그래프의 오른쪽에 서 있다고 전제하게 됩니다. 그 전제를 확인해 본 적은 없습니다. 다시 잰 연구들이 공통으로 말하는 것이 바로 그 지점입니다. 오른쪽에 선 사람도 자기 자리를 잘 모릅니다.

그렇다고 이 개념이 쓸모없다는 뜻은 아닙니다. 자기평가가 실제와 크게 어긋난다는 관찰 자체는 여러 연구에서 반복해서 나옵니다. 흔들린 것은 그 어긋남이 아래쪽에서만 유난히 크다는 부분입니다. 다시 말해 문제는 남아 있고, 범인이 바뀌었습니다.

여러분은 최근에 자기 실력을 어디서 확인해 보셨습니까. 스스로의 감각에서였습니까, 아니면 남이 채점한 결과에서였습니까. 저는 후자를 본 지 꽤 오래됐다는 것을 이 글을 쓰면서 알았습니다.

---

출처

• Kruger, J., & Dunning, D. (1999). Unskilled and Unaware of It. Journal of Personality and Social Psychology, 77(6), 1121–1134.
• Gignac, G. E., & Zajenkowski, M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact. Intelligence, 80, 101449.
• Gignac, G. E., & Zajenkowski, M. (2023). Still no Dunning-Kruger effect: A reply to Hiller. Intelligence.
• Hiller, A. (2023). Comment on Gignac and Zajenkowski. Intelligence.
• Dunkel, C. S., Nedelec, J. L., & van der Linden, D. (2023). Reevaluating the Dunning-Kruger effect. Intelligence, 96, 101717.
• Zell, E., & Krizan, Z. (2014). Do people have insight into their abilities? A metasynthesis. Perspectives on Psychological Science, 9(2), 111–125.