bigquery trigrams 和 ngrams viewer 之间的百分位差异？答案

【问题标题】：percentile discrepancy between bigquery trigrams and ngrams viewer?bigquery trigrams 和 ngrams viewer 之间的百分位差异？
【发布时间】：2018-11-09 23:57:39
【问题描述】：

有人可以帮忙解释一下 bigquery trigrams 和 ngrams viewer 百分位值之间的差异（任何给定的 trigram 似乎都不同，但这里有一个特定的例子，得到了https://groups.google.com/forum/#!topic/bigquery-discuss/OT_W0ayVSvg 的帖子的证实）？

SELECT * FROM
(SELECT cell.value, cell.volume_fraction
FROM [bigquery-public-data:samples.trigrams] 
WHERE ngram = "of these dinosaurs" AND cell.value = "1888"),
(SELECT cell.value, cell.volume_fraction
FROM [bigquery-public-data:samples.trigrams] 
WHERE ngram = "of these dinosaurs" AND cell.value = "1890")

https://bigquery.cloud.google.com/savedquery/977440528149:1539bcaba54144d3bd9920c55ede72b9

1890 1.6196954972465177E-4 1888 1.6196954972465177E-4

https://books.google.com/ngrams/graph?content=of+these+dinosaurs&year_start=1888&year_end=1890&corpus=15&smoothing=0&share=&direct_url=t1%3B%2Cof%20these%20dinosaurs%3B%2Cc0

1890 0.0000001270% 1888 0.0000001256%

【问题讨论】：

标签： google-bigquery

【解决方案1】：

之所以会出现这种差异，是因为您使用的是两个不同的数据集。 BigQuery trigrams 从样本数据集中读取数据，该数据集中包含某些书籍，并且可能出于测试目的进行了修改。 official description 是：

包含来自已发表作品样本的英语三元组 1520 年到 2008 年之间。

Google 图书现在基于Partner Program 和Library Project 不断更新，如您所见here。

因此，您将静态演示 258GB 数据集中的查询与 Google 图书平台进行比较。

【讨论】：