Classifier Evaluation Metrics

* Confusion Matrix

		Predict
		Positive	Negative
Actual	Positive	TP	FN
	Negative	FP	TN

TP; 환자라고 예측했는데 실제로 환자

FP; 환자라고 예측했는데 실제로 환자 x

FN; 환자 x라고 예측했는데 실제로 환자

TN; 환자 x라고 예측했는데 실제로 환자 x

 

-> TP & TN 이 실제값과 동일하게 예측함

 

 

 

* Accuracy

: 실제 값을 얼마나 많이 맞췄냐 (= true의 비율)

Accuracy = (TP + TN) / All

 

 

 

* Sensitivity = Recall

: 실제 positive를 얼마나 잘 예측했냐

Sensitivity = TP / (TP + FN)

 

 

 

* Specificty

: 실제 negative를 얼마나 잘 예측했냐

Specificity = TN / (FP + TN)

 

 

 

 

* Precision

: 내가 positive라고 한 것 중에 맞은 비율(진짜 positive)

Precision = TP / (TP + FP)

 

 

 

 

* F1-score

: Precision과 Recall의 조화 평균

F = (2 * precision * recall) / (precision + recall)

- 이상적; 둘 다 1이어서 F=1

 

 

 

 

* F베타

: precision과 recall에 weighted measure을 줌

F베타 = ((1+베타^2) * preicison * recall) / ((베타^2)*precision + recall)

 

 

 

 

* Holdout Method

: 초기 데이터셋을 train & test set으로 나누기

- Random Sampling

 

 

 

 

* Cross-validation (k-fold)

: 훈련 데이터를 랜덤하게 k개의 폴드로 나누기

 

 

 

 

* Bootstrap

: 원래의 데이터셋으로부터 random sampling을 통해 training data를 늘리는 방법

- 초기 training set이 너무 작은 경우 (test data와 exclusive하게 두기 어려울 때)

- 중복을 허용해 포함