R 2.15.3 的 R 包中的 searchTwitter()。大量重复答案

【问题标题】：searchTwitter( ) in R package for R 2.15.3. High number of duplicatesR 2.15.3 的 R 包中的 searchTwitter()。大量重复
【发布时间】：2014-01-30 17:59:55
【问题描述】：

从 searchTwitter 输出中删除重复项工作正常，问题是 searchTwitter() 函数提供的原始推文数量始终为 100，无论 n=1000 或 n=3000。

这是我使用的代码：

tweets <- searchTwitter("#rstats", n = 1000)
tweets.df <- do.call("rbind", lapply(tweets, as.data.frame))

df.undup <- tweets.df[duplicated(tweets.df) == FALSE,] 
dim(df.undup)

生成的数据框总是有 100 行，这意味着原始推文的数量是 100。

dim(df.undup)
tweets [1] 100 12

我的问题是：这是否与 twitter API 有关，我该如何解决这个问题。

我在 Mac OS X 10.7.5 上使用 R 版本 2.15.3。

【问题讨论】：

自从 API 切换后我也遇到了类似的问题，但没有时间调试，所以我暂时切换到 Python（非常相似的步骤/过程）。我相当确定它与 API 相关。（顺便说一句，在 10.8.3 上使用 2.15.3）。我认为他们在开发中修复了它（看看 (stackoverflow.com/questions/15548316/…)

标签： r twitter duplicates

【解决方案1】：

很遗憾，twitteR 软件包的当前可用版本无法正常工作。您可以从 Geoff Jentry 的网页上获取似乎比 CRAN 上可用的版本更好的最新版本。

http://geoffjentry.hexdump.org/twitteR_1.1.5.tar.gz

它需要 ROAuth 0.9.4（也尚未在 CRAN 上更新）

http://geoffjentry.hexdump.org/ROAuth_0.9.4.tar.gz

我感觉你可能很难让它在 MacOSX 上运行，除非你可以编译包（即，除非你不需要二进制包）。

我仍然被这些新版本欺骗，但没有那么多。

【讨论】：

【解决方案2】：

我已经成功安装了这些软件包。这是我使用的代码，以防有人感兴趣。但问题还是一样，原来的推文只有 100 条。

我想知道为什么我们会在重复项方面得到不同的结果。

install.packages("~/Downloads/ROAuth_0.9.4.tar.gz",
             repos=NULL,type="source",
             INSTALL_opts="--no-multiarch")

install.packages("~/Downloads/twitteR_1.1.5.tar.gz",
             repos=NULL,type="source",
             INSTALL_opts="--no-multiarch")

library(twitteR)
library(ROAuth)

tweets <- searchTwitter("#rstats", n = 1000)
tweets.df <- do.call("rbind", lapply(tweets, as.data.frame))

df.undup <- tweets.df[duplicated(tweets.df) == FALSE,]
dim(df.undup)

dim(df.undup)
[1] 100  12

【讨论】：

这真的是完整的代码吗？您不必初始化 ROAuth 吗？使用这个确切的命令：searchTwitter("#rstats", n = 1000) 我收到了 706 条独特的推文（美国东部标准时间上午 10 点）。
我已经完成了 ROAuth 步骤，否则我不会从搜索中得到任何结果。你用的是什么版本的R，你也在用OS x吗？看来这可能会有所作为。
R 版本 2.15.3 (2013-03-01);平台：x86_64-pc-linux-gnu（64 位）。稍后我会在我的 Mac 上试一试并报告结果。
那太好了！谢谢！
新版本已经发布，运行良好！ install.packages("~/Downloads/twitteR_1.1.5.tar.gz", repos=NULL,type="source", INSTALL_opts="--no-multiarch")