confusion matrix / model selection

confusion matrix

1. 모델을 만들때 설명하기 아주 유용함
2. f1 score는 precision과 recall을 둘다 보기 위해 많이 쓰임
3. 베타를 키웠을 때 recall이 영향이 더 커진다.
4. 시나리오에 따라 precision과 recall의 차이를 정확히 알아야 함

• 암진단 recall 중요, 스팸메일 precision 중요
• 비즈니스 시나리오에 따라 달라진다.

 

• 비즈니스 시나리오에 따라 임계값을 조절해주어야 함
• 임계값을 조절함으로써 competition에서도 중요

 

• roc, auc

• accuracy 외에도 여러가지 평가지표가 쓰일 수 있음

model selection

1. 교차검증

• 중요함

1. 그리드 서치 - 랜덤 서치