- 조명을 어떻게 바꾸든 생산성이 올랐다는 호손 공장 이야기는 되찾은 원자료에서 확인되지 않았습니다.
- 조명을 바꾼 월요일의 상승은 안 바꾼 월요일에도 똑같이 나타났고, 여름철 하락은 실험에서 빠진 방에서도 함께 나타났습니다.
- 지켜보면 행동이 달라지는 일은 실제로 있지만 크기와 조건이 제각각이라, 호손 효과라는 한 낱말로 묶기는 어렵습니다.
안녕하세요, 태오입니다. 오늘은 호손 효과를 다시 읽어 보겠습니다. 누가 지켜본다는 사실만으로 사람이 더 열심히 일한다는 이야기입니다. 회사에서 새 제도를 들이고 첫 달 숫자가 오르면 우리는 흔히 제도가 통했다고 말합니다. 그 숫자를 얼마나 믿어도 되는지와 바로 맞닿은 주제입니다.
교과서에 실린 이야기
1924년, 미국 시카고 근교의 호손 공장에서 실험이 시작됐습니다. 전화 장비를 만들던 웨스턴 일렉트릭의 공장입니다. 질문은 단순했습니다. 조명을 밝게 하면 일을 더 잘하는가 하는 것이었습니다.
교과서가 전하는 결과는 놀랍습니다. 조명을 밝게 해도 생산성이 오르고, 어둡게 되돌려도 또 올랐다는 것입니다. 그래서 이런 결론이 붙었습니다. 사람을 움직인 것은 빛이 아니라 받는 관심이었다는 것입니다.
이 이야기는 심리학과 경영학 교과서로 퍼졌습니다. 1982년 경영서 『초우량 기업의 조건』도 생산성을 좌우하는 것은 작업 환경이 아니라 직원에 대한 관심이라고 적었습니다. 그런데 정작 이 조명 실험의 자료를 제대로 분석한 사람은 없었습니다. 기록이 없어졌다고 다들 믿었기 때문입니다.
없어졌다던 기록은 도서관 두 곳에 있었습니다
2009년, 미국 시카고대학교의 경제학자 스티븐 레빗과 존 리스트가 그 기록을 찾아냈다고 발표했습니다. 먼저 밀워키의 작은 도서관에서 한 부서의 기록이 나왔습니다. 필름에 문서를 작게 찍어 보관하는 마이크로피시였습니다. 나머지 두 부서의 기록은 보스턴의 잊힌 문서고에 있었습니다.
기록은 그래프 형태로 남아 있었습니다. 두 사람은 그것을 숫자로 옮겨 처음으로 통계 분석을 했습니다.
실험 대상은 세 부서의 여성 노동자들이었습니다. 전화 부품을 조립하고 코일을 감는 일을 했고, 만들어 낸 개수가 그대로 생산량으로 적혔습니다. 실험은 1924년 11월부터 1927년 4월까지 이어졌습니다.
여기서 나중에 중요해지는 사실이 하나 있습니다. 조명은 언제나 월요일에 바뀌었습니다. 공장이 쉬는 날이 일요일뿐이어서, 그날 설비를 고쳐 두었기 때문입니다.
원자료에서 달라진 세 장면
첫해 기록만 보면 교과서의 이야기가 맞아 보입니다. 세 방 모두 생산량이 실험 전보다 10%쯤 올랐고, 실험을 쉬자 줄어들었습니다. 공장 전체의 생산성이 한 해 1.4%쯤 늘던 때이니 작지 않은 상승입니다. 문제는 그다음입니다.
| 전해지는 말 | 원자료 |
|---|---|
| 조명을 바꾸면 곧바로 생산량이 뛴다 | 조명을 안 바꾼 월요일에도 똑같이 올랐고, 다른 요인을 걸러 내자 바꾼 날과 다음 날의 효과는 0에 가까웠다 |
| 실험을 멈추면 효과가 사라진다 | 여름철 하락은 실험에서 빠진 방에서도 함께 나타났다 |
| 실험을 받은 방만 오른다 | 둘째 해에 실험에서 빠진 방도 크게 올랐다 |
첫 줄이 이 논문의 중심입니다. 생산량에는 요일마다 되풀이되는 흐름이 있었습니다. 토요일은 유독 낮았고, 조명 변화는 늘 월요일에 들어갔습니다. 그러니 조명을 바꾼 월요일만 봐서는 빛의 효과와 요일의 흐름을 가를 수 없습니다. 안 바꾼 월요일을 나란히 놓자 차이가 사라졌습니다.
둘째 줄은 계절 이야기입니다. 저자들은 여름의 하락을 실험 종료의 결과가 아니라 여름마다 생산량이 낮아지는 흐름으로 읽었습니다. 논문의 표현을 빌리면, 널리 알려진 놀라운 패턴들은 「전적으로 허구」로 드러났습니다.
그래도 아무것도 없었던 것은 아닙니다
여기서 호손 효과가 완전히 틀렸다고 말하면 이 논문을 절반만 읽은 것입니다. 저자들은 약한 신호 두 가지를 함께 적었습니다.
- 실험 중에는 조금 높았다다만 방과 시기의 차이까지 걸러 내면 이 차이는 사라졌습니다
- 알려 준 빛에 더 반응했다날씨로 변하는 햇빛보다 실험자가 바꾼 조명에 더 움직였지만, 크기는 작았습니다
둘째 신호는 흥미롭습니다. 실험자가 바꾼 조명은 노동자에게 알려졌고, 날씨에 따른 햇빛 변화는 알려지지 않았습니다. 그래서 두 빛에 대한 반응 차이가 곧 「실험을 의식한 효과」를 재는 한 방법이 됩니다. 저자들도 이 근거를 정황 증거라고 선을 그었습니다.
이 재분석에도 한계가 있습니다. 원래 설계가 깔끔한 비교를 염두에 두지 않았고, 뒤로 갈수록 한 방의 기록만 남습니다. 또 이 논문이 다룬 것은 조명 실험입니다. 1928년부터 엘턴 메이오 등이 이어 간 후속 실험까지 전부 무너뜨린 것은 아닙니다.
재분석의 수치를 더 보기
조명은 처음에 인공조명 4피트촉광에서 시작해 36피트촉광까지 오르내렸습니다. 마지막 해에는 창을 막고 11.5피트촉광에서 낮춰 1.4피트촉광까지 내려갔는데, 이 최저 수준은 단 하루였습니다. 실험이 진행되는 동안의 생산량은 실험 전보다 3~4% 높게 추정됐지만, 방·월·연도의 조합을 통제하면 유의한 차이가 사라졌습니다. 인공조명이 표준편차 하나만큼 변할 때 생산량은 1% 미만으로 움직였고, 자연광의 계수는 음수이며 유의하지 않았습니다. 둘째 해의 첫 번째 방은 실험 전보다 약 20% 높은 수준까지 올랐습니다. 수치는 2009년 공개된 논문 초고 기준이며, 수정본은 2011년에 학술지에 실렸습니다.
지켜보면 달라지는 일은 있습니다, 다만 한 가지가 아닙니다
공장 실험의 근거가 약해졌다고 해서 관찰의 영향까지 없어지지는 않습니다. 2014년 캐나다 연구진이 병동 두 곳의 손 소독제 사용을 전자 장치로 기록한 연구가 좋은 예입니다.
점검자가 눈에 보일 때 복도의 사용 횟수는 시간당 3.75회였습니다. 같은 때 점검자가 안 보이는 복도에서는 1.48회였습니다. 같은 병동 안에서 2.5배쯤 벌어진 것입니다. 그런데 이 증가는 병실 안의 소독제까지 이어지지 않았습니다. 달라진 것은 사람 전체가 아니라 보이는 자리의 행동이었습니다.
크기도 들쭉날쭉합니다. 2014년 영국 연구진이 관찰의 효과를 일부러 재 본 연구 19편을 모았습니다. 12편에서 어떤 형태로든 효과의 신호가 나왔지만, 방법도 결과도 제각각이었습니다. 이들의 결론은 「단일한 호손 효과는 없다」는 것입니다. 연구에 참여한다는 사실이 행동을 바꾸는 일은 있지만, 언제 얼마나 그러는지는 아직 잘 모른다는 뜻입니다.
종합 연구의 수치와 이름의 유래를 더 보기
19편은 무작위 대조 시험 8편, 준실험 5편, 관찰 연구 6편이었습니다. 결과를 합칠 수 있는 무작위 시험 5편을 모으면 오즈비는 1.06이고 95% 신뢰구간은 0.98~1.14로, 효과가 없다는 가능성을 배제하지 못합니다. 호손 효과라는 이름은 1953년 방법론 교과서에서 처음 쓰였다고 이 연구는 적습니다. 흔히 처음 쓴 사람으로 꼽히는 헨리 랜즈버거의 호손 연구 재검토는 1958년에 나왔습니다.
새 제도의 첫 달 숫자를 읽을 때
교과서의 장면은 사라졌지만 오히려 쓸 만한 질문이 남았습니다. 호손 공장의 기록을 뒤집은 것은 새로운 이론이 아니라 비교였습니다. 그 비교는 우리도 할 수 있습니다.
- 1안 바꾼 쪽도 올랐나옆 팀과 같은 기간 숫자를 나란히 봅니다
- 2작년 이맘때는 어땠나요일과 계절의 흐름을 먼저 뺍니다
- 3점검이 끝나도 남았나지켜보는 동안의 숫자만으로 정하지 않습니다
여러분은 최근에 효과가 있었다고 믿게 된 변화가 있으신가요? 그때 안 바꾼 쪽의 숫자도 함께 보셨는지 궁금합니다.
출처: Levitt, S. D., & List, J. A. (2009). Was There Really a Hawthorne Effect at the Hawthorne Plant? An Analysis of the Original Illumination Experiments. NBER Working Paper 15016 (학술지 수정본: American Economic Journal: Applied Economics, 2011). McCambridge, J., Witton, J., & Elbourne, D. R. (2014). Systematic review of the Hawthorne effect: New concepts are needed to study research participation effects. Journal of Clinical Epidemiology. Srigley, J. A., Furness, C. D., Baker, G. R., & Gardam, M. (2014). Quantification of the Hawthorne effect in hand hygiene compliance monitoring using an electronic monitoring system. BMJ Quality & Safety. Peters, T. J., & Waterman, R. H. (1982). In Search of Excellence. Landsberger, H. A. (1958). Hawthorne Revisited. Cornell University.
