1. Introduction

1) 딥러닝 모델의 결과를 역추적해서 입력 이미지에 히트맵을 출력함 –> 히트맵은 딥러닝 모델이 입력 이미지를 어떻게 바로보는지 표시해 줌.

2) LRP는 모델의 결과를 역추척하는 것에 분해(Decomposition)와 연관성 전파(Relevance Propagation)을 이용.

2. 분해와 연관성 전파

1) 분해

• 입력된 피처(이미지의 경우 픽셀) 하나가 결과 해석에 얼마나 영향을 미치는지 해체하는 방법.

• 분해는 결과에서 역방향으로 순회하며 각 은닉층의 결과 기여도를 판단함.

2) 연관성 전파

• 분해 과정을 마친 은닉층이 결괏값 출력에 어떤 기여를 하는지 연관성을 계산하는 방법.

3. Getting a LRP for a Specific DNN

1) LRP는 Post-hoc & Model-specific Method

2) 따라서 LRP를 구하는 기저 원리(분해와 연관성 전파)는 동일하지만 설명 대상 모델이 어떤 종류와 구성의 네트워크인가에 따라 LRP를 구하는 실제 식(세부 내역)은 다르게 정의됨. 예를 들어 동일한 CNN 종류의 DNN이라 하더라도 CNN의 상세 네트워크 구성에 따라 LRP를 구하는 식은 달라짐.

• “Depending on the type of a neural connection, LRP defines heuristic propagation rules for attributing the relevance to lower-layer neurons given the relevance values of the upper-layer neurons. [3]”

References

1. 안재현, “XAI 설명 가능한 인공지능, 인공지능을 해부하다”, 위키북스

2. On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation

3. XNAP: Making LSTM-based Next Activity Predictions Explainable by Using LRP