我的数据包含大量 x 变量，这些变量主要是分类/名义变量，而我的目标变量是多类标签。我能够建立几个模型来预测多类变量并比较它们的表现。我有训练和测试数据。训练和测试数据都给了我很好的结果。
现在，我试图找出模型预测某个 Y 变量的“原因”？意思是如果我有天气数据：X 变量：城市、州、邮政编码、温度、年份； Y 变量：雨、太阳、多云、雪。我想找出模型预测的“原因”：雨、太阳、多云或雪。我使用了多项式、决策树等分类算法
这可能是一个广泛的问题，但我需要一个可以开始研究的地方。我可以预测“什么”，但看不到“为什么”它被预测为雨、太阳、多云或雪标签。基本上，我试图找到导致预测变量的变量之间的联系。
到目前为止，我一直在考虑使用相关矩阵、主成分分析（在模型构建过程中发生）……至少看看哪些是好的预测变量，哪些不是。有没有办法找出“为什么”的因素？
【问题讨论】：
标签： machine-learning data-science
模型可解释性是当前研究的一个非常活跃和非常热门的领域（想想圣杯之类的东西），它最近被提出来，尤其是由于（通常是巨大的）深度学习模型在各种任务中的成功，以及算法公平和问责制的必要性......
除了深入的理论研究之外，最近出现了一些实用级别的工具箱和库，既适用于神经网络，也适用于其他通用机器学习模型；这是一个部分列表，可以说应该让你忙碌一段时间：
用于神经网络的逐层相关性传播 (LRP) 工具箱（paper、project page、code、TF Slim wrapper）
FairML：审计黑盒预测模型，Cloudera Fast Forward Labs（blog post、paper、code）
Black Box Auditing 和 Certifying and Removing Disparate Impact（作者的Python code）
Geoff Hinton 最近（2017 年 11 月）的一篇论文，Distilling a Neural Network Into a Soft Decision Tree，以及各种独立的PyTorch implementations
SHAP：解释模型预测的统一方法（paper，作者的Python code，R package）
Lucid，Google 用于研究神经网络可解释性的基础设施和工具集合（code；论文：Feature Visualization、The Building Blocks of Interpretability）
SVCCA：深度学习动力学和可解释性的奇异向量典型相关分析（paper、code、Google blog post）
TCAV：使用概念激活向量进行测试（ICML 2018 paper、Tensorflow code）
Grad-CAM：来自深度网络的视觉解释通过基于梯度的定位（paper，作者Torch code，Tensorflow code，PyTorch code，Keras example notebook）
网络剖析：量化深度视觉表示的可解释性，作者：MIT CSAIL（project page、Caffe code、PyTorch port）
GAN 剖析：可视化和理解生成对抗网络，MIT CSAIL（project page，附有论文和代码链接）
基于公理的 Grad-CAM (XGrad-CAM)：迈向准确的 CNN 可视化和解释，对现有 Grad-CAM 方法的改进（paper，code）
随着可解释性走向主流，已经有框架和工具箱包含了不止一种上面提到和链接的算法和技术；这是 Python 内容的（再次，部分）列表：
另见：
Interpretable Machine Learning，Christoph Molnar 的在线 Gitbook，R code 可用
Explanatory Model Analysis，Przemyslaw Biecek 和 Tomasz Burzykowski 的另一本在线书籍，包含 R 和 Python 代码 sn-ps
Twitter thread，链接到可用于 R 的多个解释工具。
Dan Becker 在 Kaggle 的简短（4 小时）在线课程Machine Learning Explainability，以及随附的blog post
...以及Awesome Machine Learning Interpetability repo 中的一大堆资源
注意：我不再更新此答案；有关更新，请参阅我在 AI SE 线程中的回答 Which explainable artificial intelligence techniques are there?
【讨论】：