【问题标题】:Preparing training examples Watson Assistant准备训练示例 Watson Assistant
【发布时间】:2019-02-06 09:57:23
【问题描述】:

我使用 Watson Assistant 对客户的电子邮件进行分类。

我阅读了一个关于创建意图的最佳实践的好答案Best practices for creating intents/entities with IBM Conversation Service。它给了我一些如何改进结果的想法。

但是,我有一个关于在将示例添加到 Watson 之前清理示例的问题。

我必须删除所有数字、姓名、日期等吗?我必须删除诸如“您好,谢谢您,等待您的回复……”之类的短语吗?

例如,初始电子邮件是:

您好,我将搬到另一个城市,我的地址将在 4 月 21 日之后更改。我的新地址是伦敦,ABC Street 123,app。 34. 你能在我的个人资料中更新它吗?提前谢谢你。真诚的,马克

“清理”的电子邮件

我会搬到另一个城市,我的地址会改变。我的新地址是

我必须删除所有不必要的信息还是最好将初始短语添加到 Watson?

您知道 Watson Assistant 使用什么算法来进行分类(意图)吗?

提前感谢您的任何回复。

【问题讨论】:

  • Watson Assistant 是一种对话式服务。您似乎尝试将它用于不同的东西。 NLU 服务不是更合适吗? ibm.com/watson/services/natural-language-understanding
  • Watson Assistant 的意图可以像分类工具一样使用。我不使用实体或对话框。 NLU 不允许我对邮件进行分类,但意图是的。

标签: machine-learning ibm-cloud watson-conversation


【解决方案1】:

您不应针对 PII 信息进行培训。它不会为您的模型增加任何价值。如果存在与数据相关的审计,也会产生风险。例如 GDPR。

找到邮件意图的本质并以此为基础进行培训。

您的示例是他们想要更新他们的个人资料。


请注意,WA 并非旨在对电子邮件进行分类。因此,您可能需要设计一种机制来对每个句子进行评分,或处理电子邮件中的多个意图。

另一个选项是 Watson NLC,我已经看到它用作邮件分类器。


您还应该尝试减少存储在 Watson Assistant 中的 PII,尽管它符合 PII 并支持 GDPR。

【讨论】: