[Statistics] MAP estimation 이란?

 Maximum Likelihood Estimation(MLE) 은 우리가 어떤 parameter를 추정할 때, likelihood 값을 최대로 하는 parameter를 찾는 과정을 말한다. 하지만 MLE는 우리가 기본적으로 알고 있는 데이터의 사전 지식 정보는 반영하지 못한다는 한계를 가진다. 이러한 단점을 극복하고, 우리가 데이터에 대한 정보가 있는 상황에서 posterior 값을 최대로 하는 parameter를 찾는 과정을 우리는 Maximum A Posterior(MAP) estimation이라고 부른다. 이번 포스팅은 MAP estimation가 무엇이고 MLE와는 어떤 차이가 있는지, 나아가 MAP estimation의 단점은 무엇인지에 대해 알아보겠다.
 

개념

 기본 개념은 간단하다. 우리는 posterior를 베이즈 정리에 따라 다음과 같이 표현할 수 있다. 

posterior의 계산식
 즉, 위에서 표현된 posterior를 최대로 하는 θ를 찾는 것이 우리의 목적이다. 우리는 이미 x의 분포를 알고 있다고 가정하기 때문에 분모의 p(x)는 상수이고, 결국 posterior를 최대로 하는 θ를 찾는 것은 likelihood와 prior를 곱한 값인 분모를 최대로 만드는 θ를 찾는 것과 같다.
 
 이를 식으로 표현하면 다음과 같다. 

-☞ p(x|θ)p(θ)를 최대로 하는 θ값을 찾는 것이 MAP estimation

 

MLE와 MAP의 차이점

 MLE와 MAP를 쉽게 설명하면 다음과 같다.
 
 예를 들어, 어떤 사람의 통장잔고(x)를 보고, 그 사람이 게임을 하는 사람인지 안 하는 사람인지(θ)를 판단한다고 하자. 

• MLE: MLE는 게임을 하는 사람들 중 그 통장잔고가 나올 확률과 게임을 하지 않는 사람들 중 그 통장잔고가 나올 확률을 비교(likelihood)하여 둘 중 더 높은 확률로 선택하는 것을 말한다. 이 경우에는 게임을 하는 사람과 게임을 하지 않는 사람의 비율(prior)은 결정에 반영되지 않는다. 
• MAP:MAP는 통장잔고가 주어졌을 때, 그것이 게임을 하는 사람의 것일 확률과 게임을 하지 않는 사람의 것일 확률을 비교(posterior)하여 둘 중 더 높은 확률로 선택하는 것을 말한다. 이 경우에는 게임을 하는 사람과 게임을 하지 않는 사람의 비율(prior)은 결정에 반영된다. 

즉, 우리가 알고 있는 사전 정보인 prior의 정보를 likelihood에 곱하여 반영하여 판단을 내리는 것이 MAP estimation인 것이다.
 

MAP의 한계

하지만 이러한 MAP도 여러 한계점들을 지닌다.

1. Uncertainty를 계산할 수 있는 방법이 없다. 우리가 추정을 하고 나면, 그 결과를 얼마나 신뢰할 수 있는지를 측정할 기준이 필요한데, MAP estimation에서는 이를 측정할 수 있는 명확한 기준이 없다.
2. Overfitting의 우려가 있다. 우리가 Uncertainty를 측정할 수 있는 방법이 없기 때문에, 예측 정확도를 높이는 데에만 집중하다보면 분포가 overfitting될 수도 있다는 문제가 있다.