모델의 예측 성능을 평가하는 정밀도

머신러닝에서 분류 모델의 성능을 평가할 때, 정확도뿐만 아니라 정밀도(Precision)도 중요한 지표입니다.

정밀도는 아래와 같이 계산합니다.

\text{Precision} = \frac{TP}{TP + FP}

여기서 각 용어의 의미는 다음과 같습니다.

쉽게 말해, 정밀도는 모델이 양성이라고 예측한 결과 중 실제로 양성인 비율을 의미합니다.

정밀도의 의미

정밀도가 높다는 것은 모델이 양성이라고 예측한 결과가 신뢰할 만하다는 뜻입니다.

예를 들어, 암 진단 모델에서 정밀도가 높다면 모델이 암이라고 예측한 환자는 실제로 암일 가능성이 높다는 의미입니다.

그러나 정밀도가 높다고 해서 반드시 좋은 모델이라는 것은 아닙니다.

양성을 예측할 때 신중하게 예측하는 대신, 양성이라고 예측할 사례 자체를 줄여버리면 정밀도가 높아질 수 있기 때문입니다.

예를 들어 머신러닝 모델이 확신이 있을 때만 양성을 예측하고 애매한 경우 모두 음성으로 처리하면 정밀도가 높게 나올 수 있지만, 실제 양성을 많이 놓칠 위험이 있습니다.

정밀도가 중요한 대표적인 사례는 다음과 같습니다.

암 환자를 진단하는 모델에서 정밀도가 높다는 것은 모델이 암이라고 예측한 사람이 실제로 암일 가능성이 높다는 뜻입니다.

정밀도가 낮다면 암이 아닌 사람을 암이라고 잘못 판별할 가능성이 높아져, 불필요한 의료 검사가 늘어날 수 있습니다.

스팸 필터에서 정밀도가 높다면, 스팸으로 분류된 이메일 중 실제 스팸이 많다는 뜻입니다.

정밀도가 낮다면 중요한 이메일을 스팸으로 잘못 분류할 가능성이 커지므로, 중요한 메일을 놓칠 위험이 있습니다.

금융 거래에서 사기를 탐지하는 모델의 정밀도가 높다면, 사기라고 예측된 거래가 실제로 사기일 가능성이 높습니다.

정밀도가 낮으면 정상 거래를 사기 거래로 잘못 판단해 사용자 불편을 초래할 수 있습니다.

정밀도가 높은 모델이 항상 좋은 것은 아닙니다.

정밀도를 지나치게 높이면 반대로 재현율(Recall)이 낮아지는 문제가 발생할 수 있습니다.

즉, 모델이 양성을 더 신중하게 예측하다 보면 실제 양성인 사례를 놓칠 가능성이 커집니다.

예를 들어, 스팸 필터에서 정밀도를 높이기 위해 확실한 스팸만 차단한다면, 애매한 스팸 메일이 정상 메일처럼 통과할 수 있습니다.

따라서 실제 모델 평가에서는 정밀도와 재현율을 함께 고려해야 합니다.

다음 수업에서는 정밀도의 한계를 보완하는 재현율에 대해 알아보겠습니다.

코드프렌즈 PLUS 멤버십 가입 or 강의를 등록해 주세요!