谷歌发表论文

可解释性与准确率：理解 CAV 技术，需要首先理解深度学习模型可解释性难题的本质。在这一代深度学习技术中

Google已经被大陆屏蔽了 你可以去Google香港的服务器

简单点来说，就是Hadoop是继承了Google的MapReduce、GFS思想，开发出来的一套框架，后来又交给了Apache作为开源项目。MapReduce诞生于谷歌实验室，MapReduce与GFS、BigTable并称为谷歌的三驾马车，、而Hadoop则是谷歌三驾马车的开源实现。2003年，Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS是google公司为了存储海量搜索数据而设计的专用文件系统。2004年，Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。2004年，Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行分析运算。2005年，Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。

等会让他赶紧染发剂对人体

可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究领域近期取得了很大进展，创建了非常复杂的模型，这些模型可以包括数千个隐藏层、数千万神经元。虽然创建高级深度神经网络相对简单，但理解如何创建这些模型以及它们如何使用知识仍然是一个挑战。最近，谷歌大脑（Google Brain）团队发表了一篇论文《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》，提出一种叫作「概念激活向量」（Concept Activation Vectors，CAV）的新方法，为深度学习模型的可解释性提供了全新视角。

理解 CAV 技术，需要首先理解深度学习模型可解释性难题的本质。在这一代深度学习技术中，模型准确率与可解释性之间存在永久的冲突。可解释性与准确性之间的冲突也是实现复杂知识任务与如何实现这些任务之间的冲突。知识与控制、性能与可解释性、效率与简洁……这些问题都可以通过权衡准确率与可解释性来解释。

如前所述，可解释性的一般方法应该是根据深度模型所考虑的输入特征来描述其预测结果。一个经典例子就是 logistic 回归分类器，一般会把分类器中的系数权重解释为每个特征的重要性。但大部分深度学习模型在特征层面（如像素值）的运算，无法和人类能轻易理解的高级概念对应。此外，模型的内部值（例如神经激活）似乎是无法理解的。尽管像显著性图（saliency map）这样的技术可以有效测量特定像素区域的重要性，但它们无法和更高级的概念相对应。

CAV 的核心思想是度量模型输出中概念的相关性。对概念来说，CAV 是概念示例集的值方向上的一个向量。在他们的论文中，谷歌研究团队还提到了一种名为 TCAV（Testing with CAV）的新型线性可解释性方法，这种方法用方向导数（directional derivatives）来量化模型预测对 CAV 学习到的底层高级概念的敏感度。从概念上讲，定义 TCAV 有以下四个目标：

易于访问：用户几乎不需要 ML 专业知识。可定制化：适应任何概念（比如性别），而且不受限于训练过程中所考虑的概念。插件准备：不需要重新训练或修改 ML 模型就可以直接工作。全局量化：用单个量化方法就可以解释整个类或整组示例，而且不只是解释数据输入。

谷歌大脑团队用这些图像作为测试数据集，在 Amazon Mechanical Turk 上用 50 人进行了实验。每个人做 6 项任务（3 object classes x 2s aliency map types），所有这些任务都针对单个模型。任务顺序是随机的。在每项任务中，工作人员首先会看到四张图像及其对应的显著性掩码（saliency mask）。然后他们对图像对模型的重要性（10 分制）、标题对模型的重要性（10 分制）以及他们对自己答案的确信程度（5 分制）等问题进行打分。这些工作人员一共评估了 60 张不同的图像（120 个不同的显著性图）。

实验的基本事实是图像概念与标题概念更相关。但当看到显著性图时，人们认为标题概念更重要（0% 噪声模型）或没有差别（100% 噪声模型）。相比之下，TCAV 的结果正确地表明了图像概念更重要。