误解7：显着图（saliency maps）是解释神经网络的一个稳健方法
虽然神经网络通常被认为是黑匣子，但现在还是已经有了有非常多对其进行解释的探索。显着图，或其他类似对特徵或训练样本赋予重要性得分的方法，是其中最受欢迎的形式。
我们很容易得出这样的结论，即对给定的图像进行某种分类的原因是由於图像的特定部分对神经网络进行分类时的决策起了重要作用。已有的几种计算显着图的方法，通常都基於神经网络在特定图像上的激活情况，以及网络中所传播的梯度。
在AAAI 2019 的一篇论文Interpretation of Neural Networks is Fragile 中，研究者表明，可以通过引入一个无法感知的扰动，从而扭曲给定图像的显着性图。
「帝王蝶之所以被分类为帝王蝶，并不是因为翅膀的图案样式，而是因为背景上一些不重要的绿色树叶。」
高维图像通常都位於深度神经网络所建立的决策边界附近，因此很容易受到对抗攻击的影响。对抗攻击会将图像移动至决策边界的另一边，而对抗解释攻击则是将图像在相同决策区域内，沿着决策边界等高线移动。
为实现此攻击，研究者所使用的基本方法是Goodfellow 提出的FGSM（fast gradient sign method）方法的变体，这是最早的一种为实现有效对抗攻击而引入的方法。这也表明，其他更近的、更复杂的对抗攻击也可以用於攻击神经网络的解释性。
意义：
随着深度学习在医学成像等高风险应用中变得越来越普遍，我们必须注意如何解释神经网络做出的决定。例如，尽管cnn 能将mri 图像上的一个点识别为恶性肿瘤是件好事，但如果这些结果是基於脆弱的解释方法，那么这些结果就不应该被信任。
