Gary Klein의 Streetlights and Shadows 12장 정리. 모든 데이터를 부정하라.

12장 모든 데이터를 부정하라

주장 7. 상황을 파악하기 위해서 우리는 데이터를 기반으로 추론을 해야 한다.

이 장 역시, 데이터를 기반으로 추론해도 상황을 파악할 수 없을 수 있다는 이야기를 한다. 어떤 사람들은 사람의 사고를 <데이터 -> 정보 -> 지식 -> 이해>의 순서를 거치는 단순한 조립 라인 같은 것으로 묘사한다. 그러나 이런 모델은 우리가 어떤게 중요한 단서인지 확신할 수 없는 모호한 상황에서는 작동하지 않는다.

제 1차 세계대전의 영웅인 미국 전투기 조종사 에디 리켄배커는 1919년 자신의 책 ‘비행 편대와의 전투’에서 신참 시절 독일 상공을 비행했던 자신의 경험을 기술했다. 그의 비행 편대가 기지로 귀환하자, 편대장이 리켄배커에게 비행 도중 본 것을 말해보라고 했다. 리켄배커는 비행은 아주 순조로웠으며, 우리 편대 외에 다른 비행기는 보이지 않았다고 말했다. 리켄배커는 독일군 대공포들을 보긴 했는데 그들이 탄약을 낭비하는 것을 보고 재미있어 했었따. 편대장이 그가 놓친 것을 지적해줬다. 그들이 적진에 침투하기 직전에 다섯 대의 영국군 전투기 편대가 그들 편대의 아래로 지나갔고, 곧이어 또 다른 다섯 대의 편대가 그들 옆으로 지나갔는데, 두 편대 모두 450미터 이내의 거리였다. 게다가 그들이 돌아올 때 3km 전방에 독일군 알바트로스 전투기 네 대가 있었고, 나중에 또 다른 독일군 2인승 전투기도 보였다. 그러고 나서 편대장은 리켄배커를 지나쳐 그의 비행기로 걸어가더니, 그가 그렇게 재미있어 했던 독일군 방공포 공격에 의한 유산탄 구멍들을 보여줬는데, 그 구멍 중의 하나는 그의 몸에서 겨우 30cm 떨어진 날개 두 개를 관통했다. 리켄배커는 자신의 비행기가 총탄을 맞았는지도 몰랐던 것이다. 그것이 그의 진짜 교육의 시작이었따. 편대장에게는 데이터가 존재하고 있었지만, 리켄배커에게는 아니었다.

무엇이 중요한 데이터인지, 어떤 정보를 수집해야 하는지를 알아야 데이터를 기반으로 추론을 할 수 있다. 데이터만 나열해놓아서는 단지 개연성 없는 여러 종류의 정보들일 뿐이다. 그것들에서 어떤 것이 중요한 정보인지를 선택하고, 그 정보들을 엮어서, 가능한 시나리오/사고 모델로 재구성해보고, 그 시나리오에 추가적인 데이터들을 맞춰 봄으로서 시나리오가 맞는지 검증하는 과정을 거쳐야 제대로 데이터에 기반한 추론을 한다고 할 수 있다.

하지만 우리는 데이터를 조망하기 위해서 시나리오가 필요하다. 시나리오 없이는 데이터도 그다지 의미가 없다. - p. 275

상황 파악의 중요한 측면 중 하나는 어떤 게 신뢰할만한 점인지 파악하는 것이다. 상황 파악의 많은 부분은 그 데이터가 정확한지 재확인하는 것이다. 상황 파악은 또한 그 시나리오가 그럴 듯한지 판단하는 것이다. - p. 285

때로는 데이터가 잘못된 경우도 있다. 계기판이나 수집기가 고장났다던지, 어떠한 경우에서 기계가 잘못된 데이터를 보내주는 경우도 있다.

추론을 계속하라는 조립 라인 모형은, 우리가 길을 잃고 어디에 있는지, 어디로 가야 하는지, 어떤 데이터를 믿을 수 있는지 파악해야 하는 상황에서 느끼는 절망을 반영하지 못한다. 데이브 말렉은 항로를 잘 회복할 수 있었다. 왜냐하면 그가 데이터를 의심하기 시작했을 때 자신의 항법 장치를 시험하는 방법을 고안해냈기 때문이다. 그러나 때때로 사람들은 제 시간에 오류를 회복하지 못한다. - p. 289

상황 파악은 단지 데이터를 받아서 추론하는 것만이 아니다. 이는 우리가 원하는 것을 찾기 위해 시스템을 뒤바꾸는 방법을 아는 것까지도 포함한다. - p. 296

2차 세계대전 중 진주만에서 근무했던 해군 장교 조제프 로슈포르 중령의 예가 나온다. 일본의 진주만 공습 이후, 추가적인 공격이 우려되었다. 로슈포르는 일본군의 암호를 감청하면서, 다음 공격 목표지가 AF라는 약어로 표시되고 있다는 것을 알아챈다. 그는 자신이 일본군이라면 미드웨이의 환상 산호섬을 목표로 할 것이라고 가설을 세웠다. 그리고 그 이론이 맞는지 시험하기 위해, 미드웨이의 소규모 부대에게 담수 시설이 고장났다는 가짜 신호를 보내게 했다. 다음날 일본군의 전보를 감청하니, AF에 식수가 부족하다는 내용이었다. 로슈포르는 일본군이 그 섬을 공격할 것을 알게 되었다. 그 정보를 바탕으로 전력을 보완한 결과, 결국 일본군은 6척의 주력 항공모함 중 4대를 잃고 전투기도 250대 이상 잃었다. 태평양 전쟁의 판도가 완전히 뒤바뀌었다.

데이터를 수동적으로 수집할 뿐만 아니라, 적극적으로 시스템에 작용을 흘려보낼 수도 있다.

우리는 단서와 데이터를 스토리, 시나리오, 지도, 전략 등과 같은 사고의 틀로 조직함으로써 상황을 파악한다. 그러나 그 반대의 경우도 발생한다. 사고의 틀이 우리가 어떤 것을 데이터로 사용할지를 결정하는 것이다. 두 가지 과정은 동시에 일어난다. 데이터와 사고의 틀 사이의 이런 상호작용이 상황 파악의 핵심이다. 우리는 데이터 요소들을 시나리오 등의 사고의 틀에 끼워 맞춤으로써 상황을 파악하지만, 그 반대도 일어난다. 즉 사고의 틀이 우리가 어떤 것을 데이터로 사용할지를 결정한다.