[머신러닝 분류 성능] FP, FN, TP, TN, accuracy, precision, recall, f1 score

FP, FN, TP, TN

 

머신러닝 분류 성능은 FP, FN, TP, TN으로 표현할 수 있다.

		Predicted class
Actual class		P	N
	P	True Positive(TP)	False Negative(FN)
	N	False Positive(FP)	True Negative(TN)

Predicted class는 분류 모델이 예측한 결과, Actual class는 실제 값(정답. 실제 label)을 의미한다.

두 값이 다를때는 False, 같을 때는 True이고, 예측 값에 따라 Positive/Negative를 이야기 한다.

일반적으로 보안에서는 악성파일을 positive, 정상파일을 negative로 설정한다.

 

그리고 각각의 의미는 다음과 같다.

- TP: 실제 값이 postive인데, positive로 예측. ex) 스팸메일을 스팸메일로 분류

- TN: 실제 값이 negative 인데, negative로 예측. ex) 스팸메일이 아닌 일반 메일을 일반 메일로 분류

- FP: 실제 값이 negative인데, positive로 예측. ex) 일반 메일인데 스팸 메일로 분류

- FN: 실제 값이 positive인데, negative로 예측. ex) 스팸 메일인데 일반 메일로 분류

 

 

Accuracy, Precision, Recall, F1 score

 

이러한 값들은 Accuracy, Precision, Recall, F1 Score와 관련이 있다.

 

Accuracy(정확도)

Accuracy란 전체 경우 중 TP+TN, 즉, 모델이 잘 분류한 경우의 비율을 의미한다.

 

Precision(정밀도)

Precision이란 모델이 positve로 분류한 것 중, 실제로 positive한 경우의 비율을 의미한다.

즉, precision이 크면 악성으로 분류한 것들 중 제대로 분류한 게 많다는 의미이고, precision이 작으면 정상을 악성으로 분류한 경우가 많은 것이다.

 

Recall(재현율)

Recall이란 실제로 positive인 것 중, 모델이 positive로 잘 분류한 경우의 비율을 의미한다.

즉, recall이 크면 악성을 악성이라고 잘 분류한 것이고, recall이 작으면 악성을 정상이라고 분류해버린 것이 많은 것이다.

 

F1 score

F1 score란 Precision과 Recall을 종합적으로 확인했을 때의 성능이다.

 

일반적으로 분류 모델의 성능을 표현할 때는 이러한 4가지 지표를 사용하는데, 보안에서는 오탐, 미탐을 더욱 중점적으로 본다.

그리고 recall이 낮으면 악성 파일이 pc에 유입될 수 있도록 허락해주는 것이기 때문에, 가장 중요한 지표를 하나 꼽자면 recall인 것 같다.