XAI模型可解释性(3)
发布时间
阅读量:
阅读量
上文阐述了深度学习中对隐层结构的分析,在隐层分析过程中需要对大量神经元节点进行评估。其局限性在于仅能判断部分神经元是否具有重要性,并无法实现针对性优化与改进。本文将探讨一种全新的方法,即通过对比双模型的一致性特性来识别关键差异点。
一个问题重新思考:我们什么时候需要可解释能力?
当模型具有极高的准确性时(达到百分之百正确),或许无需追求可解释性;相反地,在精度较低的情况下,则会对原因充满好奇
设想这样的场景,在临床实践中经常会出现以下情况:医疗专家经过影像分析后向患者说明某种疾病的存在(例如某些特定症状或影像特征),而这种陈述往往会让专业的医学知识背景较高的医护人员也能准确识别出来;然而这些话通常会让普通 patients难以理解;但是患者的直觉是不会认为医生的诊断有误;同样道理,在人工智能领域中也是如此——当机器学习模型给出某个结论时(例如某种分类结果),虽然普通用户无法真正理解其背后的原因;但这并不意味着该结论就一定正确;诚然,我们追求可解释性是为了防止模型做出不可靠的判断;然而,并非完全有必要将复杂的算法简单化以适应人类的理解水平;就像强行要求医疗技术与普通人的沟通水平相匹配;
在相同的场景下,在两位医生会诊的过程中(...),交流与表达往往能够达到相互理解的效果(...)。当两人的诊断结论保持一致时(...),患者通常不关注具体的诊断原因(...)。
全部评论 (0)
还没有任何评论哟~
