为什么 NLP 过程被认为是语言相关的？ [关闭]答案

【问题标题】：Why are NLP processes considered language-dependent? [closed]为什么 NLP 过程被认为是语言相关的？ [关闭]
【发布时间】：2013-09-22 06:38:10
【问题描述】：

为什么 NLP 流程被认为是语言相关的？

例如，这里： http://www.slideshare.net/saschanarr/languageindependent-twitter-sentiment-analysis 在幻灯片 6 上，它说：“自然语言处理方法通常是专门为一种语言设计的”。

为什么会这样？我认为一旦使用机器学习实现该方法，算法是相同的，你需要的只是训练集......

【问题讨论】：

难道没有很多启发式算法和算法在某些语言中有意义，而在其他语言中没有意义吗？例如，在英语中，我可以根据句子中的词序进行一些处理，例如区分“John likes Mary”和“Mary likes John”，而在拉丁语中，词序并不重要，但名称的情况将是。并非一种语言的每种方法都适用于另一种语言。
是的，但听起来它是“唯一的”启发式算法，并且算法的核心保持不变......？

【解决方案1】：

在启发式的情况下，这些通常取决于问题和语言。在机器学习的情况下，是的，在抽象的理论意义上，“唯一”的区别是训练集。各种语言的训练集的可用性是第一个问题。然后是可以从训练集中剪除的有用特征的数量、用于改进机器学习的启发式方法和知识源的可用性、使学习成功所需的超参数等。

例如，考虑命名实体识别 (NER) 的问题。在英语数据中，“单词大写”功能几乎可以用来识别名称，但在德语中，每个名词都大写。结果是德语的 NER 问题与英语的完全不同。

【讨论】：