让AI“开口说话”：复杂模型的解释不再晦涩

解读模型背后的逻辑

研究人员重点研究了一种流行的机器学习解释方法——SHAP。在 SHAP 解释中，模型会为每个特征分配一个数值，以表明该特征对预测结果的影响。例如，当一个模型用于预测房价时，房屋位置可能是其中一个特征，而位置这一特征将被赋予一个正值或负值，表示它对模型整体预测的增减作用。

SHAP 解释通常以柱状图形式展示哪些特征最重要或最不重要，然而，当模型包含超过 100 个特征时，这种柱状图可能变得难以解读。

“作为研究人员，我们必须对展示内容做出许多选择。如果我们只显示前 10 个特征，用户可能会质疑其他特征为什么没出现在图中。而使用自然语言可以免除我们做出这些选择的负担。”资深作者 Kalyan Veeramachaneni 解释道。

但不同于直接使用 LLM 生成自然语言解释，研究人员采用 LLM 将已有的 SHAP 解释转化为可读的叙述，以减少生成过程中可能引入的误差。

研究人员开发的系统名为 EXPLINGO，包含两个协作部分。第一部分名为 NARRATOR，利用 LLM 将 SHAP 解释转化为符合用户偏好的自然语言叙述。通过向 NARRATOR 提供 3 至 5 个手写的示例叙述，LLM 可以模仿这些样例的风格生成文字。

Zytek 指出：“与其让用户定义他们需要什么样的解释，不如让他们直接写下想要看到的内容，这样更简单。”

这种方法使 NARRATOR 可以通过不同的手写示例轻松适应新的应用场景。

在 NARRATOR 生成通俗语言解释后，第二部分 GRADER 会利用 LLM 根据四项指标对叙述质量进行评估：简洁性、准确性、完整性和流畅性。GRADER 会自动将 NARRATOR 生成的文字与对应的 SHAP 解释一起输入 LLM 进行验证。

Zytek 表示：“我们发现，即使 LLM 在执行任务时可能出错，它在验证和检查任务时通常不会出错。”

此外，用户还可以根据需求调整 GRADER 中各指标的权重。“比如在高风险场景下，可以优先考虑准确性和完整性，而降低对流畅性的要求。”她补充道。

优化自然语言叙述

对 Zytek 及其团队来说，调整 LLM 以生成自然流畅的叙述是他们面临的最大挑战之一。通常情况下，添加越多的风格控制规则，LLM 越容易在解释中引入错误。

“我们在提示调优上花了很多时间，一次次发现问题并逐个修复。”她说道。

为测试他们的系统，研究人员使用了九个带有解释的机器学习数据集，并让不同用户为每个数据集撰写叙述。他们用这些样例来评估 NARRATOR 模仿不同写作风格的能力，同时利用 GRADER 从简洁性、准确性、完整性和流畅性四个维度对每条叙述进行评分。

最终，研究表明他们的系统可以生成高质量的自然语言解释，并成功模仿不同的写作风格。

研究结果显示，提供少量手写示例显著提升了叙述风格的质量。然而，这些示例需要非常精心编写。比如，加入“更大”之类的比较词汇，可能会导致 GRADER 错误地将准确的解释标记为不正确。

基于这些成果，研究团队计划探索更好的技术，以帮助系统更好地处理比较词。此外，他们希望通过为解释加入逻辑推理功能，进一步扩展 EXPLINGO 的能力。

从长远来看，他们希望将这项研究发展为一个交互式系统，使用户能够就某一解释向模型提出后续问题。

“这在决策过程中非常有帮助。如果用户对模型的预测结果有异议，我们希望他们能迅速判断自己的直觉是否正确，或者模型的直觉是否正确，并找到分歧的来源。”Zytek 解释道。