검색 시스템 평가 (정확률/재현율)

🔍 정보검색 시스템 성능평가

1. Ranking을 고려하지 않은 성능평가

• 평가요소
  • • Precision(정확률) : (시스템 결과 맞춘 문서 수 / 추출된 문서 수)
      (relavant items retrieved / retrieved items)
    • recall(재현율) : (시스템 결과 맞춘 문서 수 / 실제 정답인 문서 수)
      (relavant items retrieved / relevant items)

TP : 추출된 문서 중 정답인 부분
FP : 추출된 문서 중 정답이 아닌 부분
FN : 추출되지 않은 문서 중 정답인 부분 (맞추지 못했기 때문에 false)
TN : 추출되지 않은 문서 중 정답이 아닌 부분 (맞춘 것이기 때문에 true)

• 정확률 P = TP / (TP + FP)
• 재현율 R = TP / (TP + FN)

Precision과 recall은 상호보완적인 관계이다.
Precision이 높으면 recall은 낮을 수 밖에 없고, recall이 높으면 precision이 낮을 수 밖에 없다.

 

⦁ measure:F

(Precision과 recall이 적절한 중간점을 찾음)

조화평균 사용 : 2ab / (a+b)

< 계산예시 >

 

2. Ranking을 고려한 성능측정

• Ranking이 높은 것부터 시작해서 문서 수를 늘려가면서 그래프를 그림
  

 

• Interpolation :
  뒤에 더 올라갈 가능성이 있으므로 떨어져서 그리지 않음 (빨간선)

 

• 빨간선으로 아래의 면적이 넓을수록 성능이 좋은 시스템이다.
• 성능 측정은 각각의 그래프 결과에 11개를 point로 잡아 평균을 구한 후, 시스템 간에 비교를 한다.