<신호와 소음>은 과장하자면 베이즈주의에 대한 성서 정도 될 것 같다. 웬만한 전공책에 맞먹는 두께의 내용 동안, 단 하나의 메시지를 전달한다. 바로 "베이즈주의 짱짱맨"이다. 우리는 인생을 살면서 무수히 많은 크거나 작은, 혹은 사소하거나 중요한 예측과 그에 따른 선택 및 행동을 한다. 오늘은 어제보다 추울 것이니 조금 단단히 입고 가자, 이 분야의 전망이 밝으니 이 주식을 사자, 딥러닝이 곧 세상을 뒤바꿀 것 같으니 딥러닝을 배우자, 뭐 이런 것들이 있겠다. 하지만 인간은 천성적으로 예측에 능하지 못하다. 네이트 실버가 주장하기를, 이는 대부분의 인간들은 쓸데없이 자신의 예측 능력을 과대평가하기 때문이다. 이에 <신호와 소음>에서는 정치, 허리케인, 지진, 포커 등, 수많은 분야에서 대부분의 사람들이 매번 예측에 실패하면서도 끝까지 자신이 잘한다고 생각하여 참사를 낳는 모습을 아주 신랄하게 드러낸다. 요는 많은 사람들이 "나만은 다를 것이다"라고 생각하며 고집을 부리기 때문에 (전문가조차도) 제대로 된 예측을 하지 못한다는 것이다. 이러한 상황을 타개할 수 있는 사고 체계가 바로 베이즈주의이다. 오로지 데이터, 즉 있었던 일들에 기반하여 확률적 추정을 행하는 빈도주의와는 대비적으로 베이즈주의는 상당히 주관적이고, 또 반복적이다. 베이즈의 이론의 핵심은 어떤 데이터가 주어졌을 때 특정한 명제가 참일 확률(사후확률)이 그 데이터가 없었을 때 해당 명제가 참일 확률에 대한 믿음(사전확률)과 해당 명제가 참일 때 그 데이터가 발생할 확률에 비례한다는 것이다. 즉 특정 명제에 대한 사전적인 믿음을 추가적으로 주어지는 증거들에 기반하여 수정해나간다. 단순한 이론이지만, 이는 진실에 대한 인간의 한계를 인정하고(사전확률을 설정하고), 시행착오를 거쳐가며(데이터를 수집하며) 그 간극을 줄여나간다는 측면에서 실용적이고, 또 인간적이다. 여기서 <신호와 소음>에서 강조하는 위험과 불확실성의 차이에 주목할 필요가 있다. 단순히 말하자면 위험은 이미 알고 있는 특정 사건에 대한 우려로 볼 수 있고, 불확실성은 알지 못하는 어떠한 사건에 대한 우려로 볼 수 있다. 이론적으로도 빈도주의는 과적합(overfitting)에 굉장히 취약한데, 말하자면 데이터에 전적으로 의존하는 빈도주의로서는 911테러와 같이 이례적인 일들을 예측하지 못한다. 오히려, 그런 일은 일어나지 않을 것이라고 과도하게 확신한다. 한편 베이즈주의는 증거들에 기반하여 기본적인 믿음을 지속적으로 수정해나가기 때문에, 이러한 과적합에 강하다. 이러한 미묘한 차이는 새로운 일, 혹은 미래의 예측에 강하다는 특성을 낳는다. 딥러닝에 관해 생각해 보아도, (천문학적인 데이터가 확보된 상황이 아니라면) dropout이나 batch normalization 혹은 weight decay와 같이 과적합을 방지하는 여러 수단들 없이는 (아마도) 절대로 괜찮은 모델을 만들어낼 수 없다. 그리고 이러한 대부분의 regularization 방법은 베이즈주의와 연결된다. 이만큼 베이즈주의는 실용적이고, 강력하다. 또 이러한 베이즈주의는 생각해보면 lean 혹은 agile과 상당히 닮았다. 시행착오를 거치면서 product-market fit이라는 진실에 점차 가까워지는 그 과정을 생각해보면 그렇다. 사실 처음에는 꽤 냉소적이고, "너네들은 다 틀렸어"라고 말하는 투가 맘에 안 들었지만, 그래서 가벼운 마음으로 읽다 보면 또 상당히 노련한 책이라는 생각이 든다. 쓸데 없이 길기는 하지만 생각해 볼 거리가 많은 책이었다.