XAI/Explainable AI模型的可解释性（2）

深度学习中的可解释性方法，前接常规机器学习的可解释性方法。

• Deep Analysis Method
  • Simulation Model Construction Method
  • Attention Mechanism
  • **Segmented Linear Neural Networks (SLNN)

1、隐层分析法 通过对隐层的各个神经元节点进行深入分析研究其在输出结果中的作用大小及其与输入数据之间的关联关系以实现对整个隐层结构的合理解释与理解。

例如，在建立在卷积神经网络基础上时增添了一种反向处理的方式；即通过将该过程与卷积层结合使用，并观察各层学到的特征以更好地理解模型行为。

2、模拟机制被采用作为核心工具，在该方法中通过引入一种基于层次化模块设计的思想框架，在不影响整体性能的前提下实现了网络复杂度的有效降低

这一方法采用一个较为简单的神经网络架构时尽管有助于理解但其复杂度明显降低到一定程度无法充分地模拟原模型因此在可解释性方面也会受到影响

3、注意力机制作为一种关键的技术手段，在当下流行的方案中占据重