인공지능을 위한 평가방법 Mextics(Accuracy, Confusion Matrix, ROC, AUC

Metrics

 

• 지표(Metrics)는 성능, 진행 상황, 또는 효율성을 정량적으로 측정하기 위해 사용되는 값이나 수치
• 비즈니스, 과학, 엔지니어링, 교육 등 다양한 분야에서 사용되며, 개인이나 조직의 목표 달성 정도를 평가하고, 전략을 계획하는데 중요한 역할

---

 

Example1

 

Metrics example

 

• 선형회귀(Linear Regression)으로 만들어진 두 인공지능 예측모델이 있다.
• 학습 데이터의 정답($y$)과 인공지능의 모델의 예측값($h$ or $\widehat{y}$)이 아래와 같을 때, 어떤 인공지능이 더 뛰어난가?

---

 

Example2

 

Metrics example2

 

• 선형회귀(Liner Regression)으로 만들어진 두 인공지능 분류모델이 있다
• 학습데이터의 정답(y)과 인공지능 모델의 예측값(h or y’)이 아래와 같을 때, 어떤 인공지능이 더 뛰어난가?

---

 

Accuracy (정확도)

 

정확도(正確度, accuracy)는 과학, 산업, 공업, 통계학 분야에서 측정하거나 계산된 양이 실제값과 얼만큼 가까운지를 나타내는 기준

 

• ACC = True/Total
• True = True Positive + True Negative
  
  

Accuracy

---

Accuracy의 문제점

 

두 인공지능 분류모델의 학습데이터(y)와 인공지능 예측값(h or y’)이 아래와 같을 때, 어떤 인공지능이 더 정확한가?

 

Accuracy 문제점

 

학습 데이터가 편향되면, 정확한 평가가 어려움

 

따라서 Confusion Matrix(혼동 행렬)을 포함한 다양한 평가방법을 사용한다!

 

다양한 평가방법

---

 

Confusion Matrix (혼동 행렬)

 

실제 정답과 예측 결과에 대한 4가지 상태를 구조화한 표

 

Confusion Matrix

 

Confusion Matrix 2

---

 

Example) 코로나 10 확진 검사

 

1. 예측이 양성인데 실제로도 양성인 경우 : TP
2. 예측이 양성인데 실제로는 음성인 경우 : FP
3. 예측은 음성인데 실제로는 양성인 경우 : FN
4. 예측도 음성이고 실제도 음성인 경우 : TN

---

 

Confusion Matrix : Accuracy

 

예측이 현실에 부합할 확률.

 

Confusion Matrix : Accuracy

 

• 정확도가 높다는 것은 예측이 제대로 적중한 경우가 많다는 의미
• 정확도 높은 예측 알고리즘은 활용 가능성이 높다고 인정

---

 

Confusion Matrix : Precision

 

예측 결과가 긍정적일 때 현실도 실제로 긍정일 확률

 

Confusion Matrix : Precision

 

• 정밀도가 높다는 것은 긍정적인 예측이 제대로 적중한 경우가 많다는 의미
• 정밀도 높은 예측 알고리즘은 안정성이 높다고 인정

---

 

Confusion Matrix : Sensitivity(Recall)

 

현실이 실제로 긍정일 때 예측 결과도 긍정적일 확률

 

 

• 민감도가 높다는 것은 현실이 긍정일 때 그 예측도 제대로 잘 이루어지고 있다는 의미
• 의학 분야에서는 가장 중요

---

 

Confusion Matrix : Specificity

 

현실이 실제로 부정일 때 예측 결과도 부정적일 확률

 

Confusion Matrix : Specificity

 

• 특이도가 높다는 것은 현실이 부정일 때 그 예측도 제대로 잘 이루어지고 있다는 의미
• 오류 감지 분야에서 중요

---

 

Confusion Matrix(혼동 행렬)을 사용하면 다양한 관점에서의 평가가 가능하다!

 

혼동행렬을 사용한 다양한 평가

 

이 인공지능 모델은 “현실이 실제로 부정일 때 예측 결과도 부정적일 확률”이 0%

---

 

ROC,  AUC

 

 

두 인공지능 분류모델의 학습데이터(y)와 인공지능 예측값(h or y’)이 아래와 같을 때, 어떤 인공지능이 더 뛰어난가?

 

ROC, AUC

 

• 혼동행렬을 사용해 비교하더라도 평가가 어려울 때가 있음
• 이 떄, ROC 또는 AUC를 사용하여 평가한다.

ROC, AUC: 4개의 Metrics가 1에 가까운지 평가하는 방법

---

 

ROC Curve란?

 

심리측정학의 수신자 조작 특성(ROC: Receiver Operationg Characteristic)이라는 도표를 활용한 평가기준

 

ROC Curve(수신자 조작 특성)

 

• TPR(True Positive Rate) : Sensitivity
• FPR(False Positive Rate) : 1-Specificity

---

AUC(Area Under the Curve)란?

 

ROC curve의 적분. 즉, AUC curve 아래 영역의 면적 (0~1)

 

 

 

 

 

출처: [성균관대 컨소시엄] 건양대  DNA School 기초과정 - 병원 임상데이터를 활용한 AI기초 강의자료