Paper review | Explainable AI approaches in deep learning: Advancements, applications and challenges

1. Introduction 

• XAI 는 복잡한 ML 모델의 투명성과 해석성을 강화하기 위함. 
• 결정에 대한 명확하고 이해하기 쉬운 설명을 제공하는 데 중점. 
• AI 시스템에 대한 신뢰를 촉진하고 이해 관계자가 AI 기반 결론의 근거를 이해하고 검증할 수 있도록 하여 AI 의 책임성과 윤리적 사용을 촉진함. 

2. Survey methodology 

PRISMA flow diagram of the article selection procedure.

Keywords that we used to select papers in different scholarly databases and their respective papers count.

3. Application tasks of XAI for DL

Application fields of XAI.

XAI in Healthcare.

3.1. Healthcare 

• 복잡한 기계 학습 모델의 의사 결정 과정을 명확히 하여 의료 전문가들 사이에서 신뢰와 자신감을 심어줌. 
• 건강 관리 전문가들이 진단 결과의 근본적인 이유를 이해할 수 있게 함.
• 개인 맞춤 의학 (personalized medicine) 에서 XAI를 통해 모델 예측을 명확히 하면 개별 환자의 특성을 통합하여 치료 권장 사항에 대한 세밀한 이해를 제공함. -> 이는 환자 중심 접근 방식 (patient-centric approach) 을 촉진하며, 치료 개입을 개인 고유의 프로필에 맞추게 함. 

3.2. Finance

• 금융 부문에서는 해석 가능한 머신 러닝 모델을 이식하여 투자 결정에 영향을 미치는 복잡한 요소에 대한 투명한 통찰력을 이해관계자에게 제공하여 위험 관리 프로세스를 개선할 수 있음
• XAI는 실시간 거래 전략의 의사 결정 근거를 밝혀 알고리즘 거래 시스템에 대한 신뢰를 강화하여 거래자와 투자자가 정보에 입각한 결정을 내릴 수 있도록 지원함. 

3.3. Autonomous vehicle 

• XAI는 자율 주행차가 수행하는 작업의 복잡한 근거를 설명하여 의사결정 프로세스의 핵심 역할을 함. 
• 안전이 중요한 시나리오의 영역에서 XAI는 감시자 역할을 하여 실시간으로 의사 결정 경로를 밝혀 예상치 못한 사고가 발생할 경우 신속한 개입이나 사후 분석을 가능하게 함. 
• 자율 주행차가 주변 환경을 어떻게 인식하고 탐색하는지에 대한 통찰력을 제공함. 

3.4. Industy 4.0

• XAI는 시스템 예측의 근거를 설명함으로써 장비 상태에 대한 심층적인 이해를 촉진하여 운영자가 잠재적 문제를 사전에 해결하고 생산 프로세스를 최적화할 수 있도록 지원함. 
• 공급망 관리 분야에서 XAI는 복잡한 물류 의사 결정의 설명에 기여하여 이해 관계자에게 재고 관리, 수요 예측 및 경로 최적화에 영향을 미치는 요인에 대한 통찰력을 제공함. 

3.5. Energy management

• 복잡한 에너지 역학에 대한 심층적인 이해를 촉진하고 이해관계자가 에너지 소비 패턴에 영향을 미치는 기본 요소를 식별할 수 있도록 함. 
•  스마트 그리드의 맥락에서 XAI는 변동하는 에너지 수요, 재생 에너지원 및 그리드 안정성 간의 복잡한 관계를 밝히는 데 기여하여 그리드 운영자에게 적응적 의사 결정을 위한 실행 가능한 통찰력을 제공함. 

3.6. Agriculture

• 식물 건강의 실시간 모니터링과 질병의 조기 감지를 용이하게 하여 작물 관리에 기여함. 
• XAI는 토양 품질, 물 사용 및 영양소 수준에 대한 통찰력을 제공하여 자원 할당을 최적화하는 데 도움이 되므로 농업 관행의 효율성을 향상시킴. 

4. XAI approaches for DL

Explainable Artificial Intelligence approaches for Deep Learning.

4.1. Propagation-based techniques

DL 모델 내 정보 흐름을 분석해서 의사 결정 프로세스에 대한 통찰력을 제공함. input feature 의 관련성 또는 중요도 점수를 부여해서 각 feature 가 모델의 출력에 얼마나 기여하는지 보여주는 것을 목표로 함. 

4.1.1. Layer-wise relevance propagation (LRP) *

• Layer-wise Relevance Propagation (LRP)는 모델에서 결과를 역추적해 입력 데이터의 개별 feature 에 대한 기여도를 계산하는 방법임. 
• 모델의 예측 결과를 분석하여 입력 데이터의 개별 feature에 대한 기여 점수를 도출하는데 사용됨. 
• 각 입력에 대한 기여 점수는 결과 클래스 노드의 클래스 점수를, 입력 계층으로 역전파하여 계산됨. 
• (Relevance Propagation) relevance score 를 출력단에서 입력단 방향으로 top-down 방식으로 기여도를 재분배 하는 방법.
• (Decomposition) input의 각 feature가 결과에 얼마나 영향을 미치는지 해체하는 방법.

4.1.2. Integrated gradients (IG)

• DL에서 모델의 예측을 입력 피처에 귀속시키는 데 사용되는 해석성 방법임.
• 기준선에서 입력 데이터까지 직선 경로를 따라 모델의 입력에 대한 모델의 그래디언트의 적분을 계산하는 것이 포함됨.
• 이 통합 프로세스는 각 피처에 중요도 점수를 할당하여 모델의 출력에 대한 기여도를 정량화함. 
• 이미지 인식에서 중요한 픽셀을 강조하여 모델의 분류 결정에 영향을 미치는 시각적 단서에 대한 통찰력을 제공함.
• 자연어 처리에서 텍스트 기반 예측에 기여하는 중요한 단어나 구문을 정확히 찾아내는 데 도움이 됨. 

https://www.oreilly.com/library/view/explainable-ai-for/9781098119126/ch04.html

4.2. Gradient-based visualization techniques
4.2.1. Saliency maps *

• Saliency Map 은 사람이 물체를 볼 때 관심 영역에 시선을 먼저 집중하는 데서 아이디어를 얻음. 
• Saliency Map 은 모델의 output vector 를 input image 에 대해 편미분 함. 
• 계산한 gradient 를 시각화 하여 픽셀의 중요도를 확인함. 

4.2.2. Grad-CAM (Gradient-weighted class activation mapping) *

• CAM 단점을 보완하는 Grand-CAM 
• feature map 에 곱해줄 weight 를 gradient 를 통해 구하므로 학습이 필요 없음. 
• gradient 는 특정 클래스에 대하여 input 이 주는 영향력이라 간주. 

4.3. Model-agnostic and surrogate modeling
4.3.1. SHAP (SHapley Additive exPlanations) *

• https://andrecnf.github.io/2019/07/31/InterpretingRecurrentNeuralNetworksOnMultivariateTimeSeries.html -> 설명 잘되어있음. 
• Additive Feature Attribution Method (AFAM) – 복잡한 인공지능 모델을 설명 모델로 근사하여 설명하는 방법.
• Shapley values – 게임이론 바탕의 플레이어 기여도를 계산하는 방법. (통계 모델) 
  - X1, X2, X3 변수가 있을 때 각 변수 기여도 (contribution) 을 계산하는 방법.
  - X1 변수 기여도를 구할 때 {}, {X2}, {X3}, {X2, X3} 부분 집합을 통해 X1 기여도를 구할 수 있음.
    1) {} & {X1} 기여도 차이,
    2) {X2} & {X1, X2} 기여도 차이,
    3) {X3} & {X1, X3} 기여도 차이,
    4) {X2, X3} & {X1, X2, X3} 기여도  차이  

Shapley values 를 위한, weight 구하는 과정.

• SHAP values – "AFAM + 게임이론 = Shapley values" 에 조건부 기댓값을 적용함. 
• SHAP values 를 통해, DL 모델에서 어떤 특성이 Y값 출력에 기여했는지 확인. 

4.3.2. LIME (Local interpretable model-agnostic explanations) *

• Local interpretable model-agnostic explanation (LIME) 은 대리 모델 (surrogate model) 을 사용하여 ML 모델의 지역적인 설명 구축. "국소적 대리 모형" , "지역적으로 선형적" 
• 블랙박스 모델 작동 메커니즘 설명은 어렵지만 특정 입력 샘플 작동을 설명하는 것은 가능함. 블랙박스 모델을 선형 모델로 근사해서 설명함 (surrogate model). 개별 예측을 설명하기 위한 local surrogate model 학습. 
• 주어진 입력 샘플의 일부를 수정 -> 원본과 유사하지만 왜곡된 대응 샘플을 얻는 데서 시작. 

4.4. Sequence and text understanding

• 텍스트와 같은 순차적 데이터를 해석하고 이해하도록 설계된 모델이 포함됨. 
• The working procedure often includes employing attention mechanisms, recurrent neural networks (RNNs), or transformer architectures to capture contextual relationships between elements in the sequence. 
• 특정 단어나 구문의 중요성을 밝혀 텍스트 기반 모델의 의사 결정 프로세스를 투명하게 함. 

4.5. Concept-based interpretation
4.5.1. Concept activation vectors (CAVs) *

• 특정 패턴 (ex. 얼룩말 줄무늬) 같은 concept 이 모델 예측에 얼마나 기여를 했는지 확인하는 방법임. 
• concept 선택 후 데이터 세트 준비 (ex. concept = 줄무늬) 
  -> 줄무늬 있는 개체 이미지 (concept dataset) vs. 줄무늬 없는 개체
• 두 데이터 세트를 통해 classifier 를 학습함. 해당 classifier 의 orthogonal vector 를 Concept Activation Vector (CAV) 라 정의.
• CAV 를 통해 원본 이미지에서 특정 클래스에 대한 sensitivity 가 일정 수준을 넘는지 확인함. 

4.6. Generative models for explanations
4.6.1. Explainable variational autoencoders (XVAEs)

• 변분 오토인코더(Variational Autoencoder)의 해석 가능성을 향상시키기 위해 설계된 생성 모델의 한 유형임.
•  XVAE는 기능의 해석 가능한 잠재적 표현을 생성하기 위한 메커니즘을 포함하여, 특성의 해체(disentanglement)와 의미 있는 클러스터링을 촉진함. 
• 이 작동 절차는 추가적인 제약 조건을 적용하여 VAE를 훈련시키는 과정을 포함하며, 잠재 변수의 투명성과 분리 가능성을 강조함. 

5. XAI evaluation metrics

XAI 시스템 성능을 평가하는 것은 의미있고 해석 가능한 설명을 제공하는지 확인하는 데 중요. 

Explainable Artificial Intelligence technique evaluation metrics.

5.1. Qualitative evaluation
5.1.1. Faithfulness

설명자 (explanator) 가 기저 모델 (underlying model) 의 행동을 정확하게 나타내는지 평가함. 설명의 충실도 (faithfulness) 를 통해 모델의 의사 결정 과정의 세부 사항을 얼마나 잘 포착하는지 반영함. 

5.1.2. Localization accuracy

입력 데이터 내 특정 관심 지점을 식별하고 강조하는 정밀도 (precision) 을 측정함. 설명자가 certainty, bias, feature importance 등 수학적 속성에 의해 정해지는 중요한 특징을 올바르게 지역화하고 강조하는지 평가함. 

5.1.3. Completeness

설명이 모델의 전체 유효 범위 (entire validity range of the model) 를 얼마나 잘 다루는지 평가함. completeness 를 통해 설명이 특정 시나리오에 편향되지 않고 모델의 행동에 대한 포괄적인 이해를 제공하는지 확인할 수 있음. (일반화와 관련 통찰력을 제공함.) 

5.1.4. Overlap

규칙 기반 설명 (rule-based explanations) 의 qualitative metric 으로 규칙 세트 내 (rule set) 내 서로 다른 규칙들이 데이터 샘플을 공유하는 정도를 양적으로 평가함. 여러 규칙의 유효 범위가 겹치는 지점을 평가하여 규칙 세트 내 중복성 (redundancy) 을 측정. 규칙 세트의 복잡성 (complexity) 과 interpretability 에 미치는 잠재적인 영향을 파악할 수 있음. 

5.1.5. Stability or robustness

입력 샘플이 변할 때 설명자의 출력이 얼마나 일관되게 유지되는지 검토함. 설명이 입력 데이터의 변동에 지나치게 민감하지 않도록 보장하여 interpretability 의 reliability 와 trustworthiness 를 증진함. 

5.1.6. Consistency

설명되는 모델 (the model being explained) 의 변화에 대한, 설명자의 출력 (explanator's output) 의 stability 를 측정함. functionally equivalent models 들이 유사한 설명을 생성하는지 평가하여 모델의 일관성 (consistency) 의 중요성을 강조함. 모델 특정 방법 (model-specific methods) 에서는 consistency 를 이해하여 설명이 모델 구조와 일치하는지 확인하는 데 도움. 

5.1.7. Sensitivity

모델의 출력에 중요한 변화가 있을 때 지역적 설명 (local explanations) 이 적절하게 대응하는지 탐구함. 모델이 다양한 샘플들에 대해 취하는 차별화 전략 (model's discrimination strategy) 의 변화를 얼마나 정확하게 반영하는지 평가함. chaotic model regions 에서 stability goals 와 potential conflicts  를 고려하여 설명의 의미있는 변화를 포착하려는 목적임. 

5.1.8. Expressiveness or level of detail

• focuses on the richness of the formal language used by the explanator.
• aims to approximate the information density perceived by users, emphasizing the importance of conveying detailed and relevant information.
• Proxies for expressiveness include the depth or amount of added information, the number of relations expressed, and categorizing used rules in terms of logic or fuzzy rules.* 

* fuzzy rules : 전통적인 이분 논리(참/거짓)가 아니라 여러 개의 사실 상태를 부분적으로 인정하는 논리 체계임. 퍼지 규칙은 입력 변수의 모호한 값에 따라 여러 사실 상태를 포괄할 수 있는 규칙임. (ex. "만약 온도가 매우 높으면 냉방을 켜라"라는 규칙은 온도가 "매우 높음"이라는 상태를 어떻게 정의하느냐에 따라 적용되는 조건이 달라질 수 있음) 

5.2. Quantitative evaluation
5.2.1. Correctness

surrogate model 의 정확성은 surrogate model 이 original model 의 행동을 복제하는 성능을 측정함. 동일한 입력 데이터에 대해 surrogate model 의 예측이 original model 의 예측과 얼마나 잘 일치하는지 측정함. 사후 설명 방법 (post-hoc explanation methods) 에서 중요하며 surrogate 는 복잡한 모델의 내부 작동에 대한 통찰을 제공함. 

5.2.2. Architectural complexity

explanation model's structure 와 design 의 복잡성 (intricacy) 를 평가하는 지표임. 구조적 속성 (architectural properties) 를 기반으로 사용자가 인식하는 복잡성을 측정함. 설명 모델의 종류에 따라, architectural metrics 는 입력 특성 (input features) 의 수, 변경된 특성의 수, 선형 모델의 희소성 (sparsity of linear models) 또는 structural dimensions of dicison trees 등을 포함할 수 있음. 모델의 복잡성을 양적으로 측정해서 설명의 구조적 깊이와 풍부함 (structural depth and richness) 을 이해하는 데 도움.  

5.2.3. Automation capability

• measures how manual human efforts within the human–AI system can be replaced or streamlined through automated processes (manual human efftorts 가 human-AI system 에서 자동화된 프로세스를 통해 대체 혹은 간소화되는 정도를 측정함.) 
• 지역적 설명 기법 (local explanation techniques) 에서 중요하며 해석 가능성 과정 (interpretability process) 의 일부를 자동화해서 human users 에게 부과되는 부담을 줄이려는 목적. 
• ex. 다수의 샘플을 검토하는 시나리오에서, 높은 자동화 능력은, 설명 방법이 수작업 검토가 필요한 샘플 수를 크게 줄일 수 있음을 의미하며, 이는 전체 설명 과정의 실행 가능성과 효율성을 향상시킴. 

6. Analysis of the existing literature (논문에 각 논문별 간략 설명 있음.) 

• El-Sappagh, S., Alonso, J. M., Islam, S. R., Sultan, A. M., & Kwak, K. S. (2021). A multilayer multimodal detection and prediction model based on explainable artificial intelligence for Alzheimer’s disease. Scientific reports, 11(1), 2660.
  - (application task) Detection and prediction of Alzheimer’s disease
  - (DL architecture) RF with a two-layer model
  - (XAI technique)  Fuzzy, SHAP
  - (evaluation metric) Rule-based, Feature relevance
  
• Chen, J., Dai, X., Yuan, Q., Lu, C., & Huang, H. (2020, July). Towards interpretable clinical diagnosis with Bayesian network ensembles stacked on entity-aware CNNs. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 3143-3153).
  - (application task) Interpretable clinical diagnosis
  - (DL architecture) Entity-aware CNNs
  - (XAI technique) Bayesian network ensembles
  - (evaluation metric) Bayesian models
• Nunnari, F., Kadir, M. A., & Sonntag, D. (2021, August). On the overlap between grad-cam saliency maps and explainable visual features in skin cancer images. In International Cross-Domain Conference for Machine Learning and Knowledge Extraction (pp. 241-253). Cham: Springer International Publishing.
  - (application task) Skin cancer representation
  - (DL architecture) CNN
  - (XAI technique) Grad-CAM saliency maps
  - (evaluation metric) Overlap
• Kletz, S., Schoeffmann, K., & Husslein, H. (2019). Learning the representation of instrument images in laparoscopy videos. Healthcare Technology Letters, 6(6), 197-203.
  - (application task) Learning instrument image representation within laparoscopy videos
  - (DL architecture) CNN
  - (XAI technique) Activation maps
  - (evaluation metric) Explanation by visualization
• Das, D., Ito, J., Kadowaki, T., & Tsuda, K. (2019). An interpretable machine learning model for diagnosis of Alzheimer's disease. PeerJ, 7, e6543.
  - (application task) Diagnosis of Alzheimer’s disease
  - (DL architecture) SVM, RF, DT
  - (XAI technique) SHIMR: Sparse high order interaction model with rejection option
  - (evaluation metric) Rule-based
• Das, S., Sultana, M., Bhattacharya, S., Sengupta, D., & De, D. (2023). XAI–reduct: accuracy preservation despite dimensionality reduction for heart disease classification using explainable AI. The Journal of Supercomputing, 79(16), 18167-18197.
  - (application task) Heart disease classification
  - (DL architecture) XGBoost
  - (XAI technique) SHAP
  - (evaluation metric) Correctness
• Dindorf, C., Konradi, J., Wolf, C., Taetz, B., Bleser, G., Huthwelker, J., ... & Fröhlich, M. (2021). Classification and automated interpretation of spinal posture data using a pathology-independent classifier and explainable artificial intelligence (XAI). Sensors, 21(18), 6323.
  - (application task) Automated interpretation and classification of spinal posture data
  - (DL architecture) Binary RF, One-class SVM
  - (XAI technique) LIME
  - (evaluation metric) Explanation by simplification
• Sarp, S., Kuzlu, M., Wilson, E., Cali, U., & Guler, O. (2021). The enlightening role of explainable artificial intelligence in chronic wound classification. Electronics, 10(12), 1406.
  - (application task) Chronic wound classification
  - (DL architecture) Transfer learning with VGG16 architecture
  - (XAI technique) LIME
  - (evaluation metric) Explanation by simplification
• Magesh, P. R., Myloth, R. D., & Tom, R. J. (2020). An explainable machine learning model for early detection of Parkinson's disease using LIME on DaTSCAN imagery. Computers in Biology and Medicine, 126, 104041.
  - (application task) Early detection of Parkinson’s disease
  - (DL architecture) CNN (VGG16)
  - (XAI technique) LIME
  - (evaluation metric) Explanation by simplification

7. Challenges and future directions of XAI for DL

7.1. Class heterogeneity for security trade-off (?)

• "보안 불균형의 맥락에서의 클래스 이질성" 
• 보안 위협의 다양한 표현/ 공격 벡터 (attack vectors*) 와 tactics (전술) 이 이질적인 특성을 나타냄. 
• "본질적인 클래스 이질성" 은 서로 다른 보안 위협 클래스 간의 복잡한 관계 (?) 를 명확히 설명할 수 있는 모델 개발을 방해함.
• 게다가 라벨이 달린 데이터셋의 희귀성과 불균형은 도전 과제를 더욱 악화시키는 요소로 작용합니다. 이는 모델이 소수의 위협 클래스 내에서 미묘한 패턴을 구별하기 어렵게 만들며, 결과적으로 다수 클래스를 선호하는 내재적 편향을 초래할 수 있습니다. 보안 랜드스케이프의 동적 성격은 추가적으로 문제를 복잡하게 만듭니다. 새로운 위협들이 나타나면서 적응형 모델이 필요하며, 이는 다양성의 진화하는 패턴을 이해할 수 있어야 합니다. 또한, 모델의 해석 가능성은 혼합된 위협 클래스의 결합으로 인해 중요한 특성과 의사 결정 과정을 식별하는 것을 복잡하게 만나는 견고한 장애물을 마주하게 됩니다. 보안 불균형 내 클래스 이질성의 복잡한 네트워크는 다양한 보안 위협의 복잡성을 해석하는 데 세밀한 접근 방식이 필요함을 보여줍니다.

* attack vectors : 컴퓨터 시스템이나 네트워크를 공격하는 데 사용되는 특정 방법 및 수단을 의미함. 

7.2. Uncertainty and confidence score estimation

• 실제 데이터의 본질적 복잡성. 다양한 상호 의존성과 비선형 관계로 특징 지어짐. -> 불확실성을 양적으로 평가하는 것이 어려울 수 있음. 
• 복잡한 시스템에서 미묘한 불확실성을 전통적인 모델들이 포착하기 어려운 경우 많음. 
• 게다가, 불확실성 추정의 해석 가능성은 비전문가 이해관계자에게 복잡한 확률적 개념을 설명하는 데 큰 난제가 됩니다. 또한, 데이터 스트림의 동적인 성격은 불확실성과 신뢰의 교환 비율을 악화시키며, 실시간으로 재보정할 수 있는 적응형 전략이 필요합니다. 기존 방법론이 불확실성과 신뢰 지표를 실질적인 통찰로 매끄럽게 통합하는 부족함은, 다양한 데이터셋의 복잡성에 대응할 수 있는 설명 가능한 모델의 개발을 저해합니다.
• 이러한 문제들에 대응하기 위해서는 협력적인 노력을 통해 혁신적인 연구 방향을 개척해야 합니다. 주요 전략 중 하나는 불확실성과 신뢰 추정을 모델 구조에 내재화하여 예측 능력과 해석 가능성을 매끄럽게 융합하는 강력한 방법론을 개발하는 것입니다. 베이지안 딥 러닝과 같은 혁신적인 확률적 프레임워크를 채택하는 것은 전통적인 모델의 한계를 극복하는 데 유망한 접근법입니다. 이러한 프레임워크는 불확실성을 내재화함으로써 더욱 강력한 예측 모델을 구축할 수 있습니다. 또한, 불확실성 지표를 직관적으로 전달할 수 있는 혁신적인 시각화 기법을 탐구하는 것도 중요합니다. 이는 전문가와 기계 학습 실무자 간의 이해의 간극을 줄이는 데 도움이 됩니다. 데이터의 동적 변화에 적응하여 모델을 재보정하는 메타 학습 접근법의 잠재력을 활용하는 것 또한 중요한 연구 방향입니다. 게다가, 불확실성과 신뢰 추정을 위한 표준화된 벤치마크와 평가 지표를 수립함으로써 모델 성능을 평가하는 통일된 프레임워크를 구축하는 것이 필요합니다. 이는 다양한 도메인에서의 비교 분석을 용이하게 합니다.

7.3. Explanation evaluation metrics

• 현재 과제는 해석 가능성의 복잡성을 탐색하고 제공된 설명이 기술적으로 정확한지 확인할 필요가 있음. 표준화되고 효율적인 평가 지표가 없으면 이러한 과제를 증폭시켜 XAI 의 효과를 평가하기 위한 프레임워크를 수립하는 데 방해됨. 
  -> 표준화되고 효율적인 평가 지표가 필요함. 
• 다양한 시나리오에서 다양한 XAI 기술을 객관적으로 비교할 수 있는 엄격한 측정이 필요함. 설명의 충실도 (fidelity of explanations) 와 사용자 이해에 미치는 영향 (impact on user understanding ) 을 모두 고려하는 벤치마크와 지표를 설정하는 것은 이 분야를 발전시키는 데 매우 중요함. 

7.4. Perception analytic architecture for forward machine learning model

• 고급 ML 모델 (= DL ?) 에 맞춰진 perception analytic architecture (인지 분석 구조*) 가 부족하면 interpretability, explainability 에 대한 탐구가 방해를 받음. 고급 ML 구조의 복잡성은 기본적인 ML 구조를 위해 설계된 perception analytic architecture 접근 방식의 역량을 능가함. 고급 ML 모델의 고유한 특성에 맞게 설계된 perception analytic architecture 가 부족한 것은 큰 과제로 작용함. 
• 고급 ML 모델의 계층화되고 상호 연결된 특성에 맞춤화된 perception analytic framework 를 개발해야 함. 복잡한 네트워크 설계를 효과적으로 탐색하고 개별 계층의 역할과 중요성에 대한 통찰력을 제공할 수 있는 시각화 기술을 고안. 도메인별 지식을 perception analytic 접근 방식에 통합하는 것은 모델 결정에 대한 맥락적 이해를 향상시킬 수 있어 중요함. 

* perception analytic architecture : 시스템이 주어진 입력 데이터를 분석하고 그 정보를 해석하거나 이해하는 과정을 의미함.  

7.5. Machine to human and machine to machine explainability

• 인간과 기계의 인지적인 능력 (cognitive capacities) 이 다르다는 데서 난제가 있으므로 두 대상을 만족시키는 설명을 구성해야 함. 설명을 인간이 이해할 수 있는 형식으로 변환하여 정보성 ( informativeness) 과 단순성 (simplicity) 사이의 섬세한 균형을 이루는 것을 목표로 해야 함. 
• 설명은 인간의 인지적 능력에 맞게 조정, 복잡한 세부 사항은 기계에 효과적으로 전달해야 함. 에이전트 간 정보 전송의 성공 여부를 평가하기 위한 표준화된 지표 확립이 필요함. 인간과 기계의 다양한 요구에 원활하게 부응하는 적응형 설명 가능 접근 방식의 개발이 포함됨. 인간이 해석할 수 있고 기계 인지에 내재된 복잡성을 수용할 수 있도록 하는 설명 구조를 공식화하는 것이 수반됨. 

7.6. Trade-off between resource-optimized computing and explainability

• 계산 효율성에 대한 요구와 모델의 해석 가능성 간의 조화가 어려움. 계산 효율성을 위해 알고리즘을 간소화하려 하면 복잡한 구조와 압축 기술을 배포해야 하며 이는 모델을 이해하기 어렵게 만듦. 다양한 배포 시나리오에서 리소스 최적화된 모델 ( resource-optimized models) 이 설명 가능한 상태를 유지하도록 하는 것은 어려워짐. 
• "리소스 최적화 - 설명 가능성" 이분법의 복잡성을 풀어내는 방향으로 연구를 추진해야 함. 효율적인 계산과 투명한 의사결정 프로세스를 통합하는 하이브리드 아키텍처의 개발이 포함됨. 가벼운 모델 구조와 해석 가능성 향상 기술을 결합하여 현재의 이분법을 초월하는 관계를 구축. 리소스 최적화 모델에 맞는 새로운 설명 가능성 지표를 탐색. 다양한 계산 환경에 맞게 모델을 적응적으로 보정하기 위한 메타 학습 (meta-learning*) 프레임워크 (리소스를 동적으로 최적화함). 

* meta-learning : machine learning model 이 학습하는 방식을 개선하거나 조정하는 기술적인 접근법. 

8. Conclusions

deep learning 을 위한 설명 가능한 AI 의 투명성 분야에서 상당한 진전이 있었으나 그러한 deep learning architecture 를 구축하기 위해 새로운 과제를 해결해야 함.