使用 tweepy 进行文本挖掘

Question

我已经使用 tweepy api 收集了推文，我已经对它们进行了标记并删除了停用词，但是当我使用 json 加载它们时，它会引发以下错误

"File "C:\Python27\Projects\kik.py", line 26, in <module>
    tweet = json.loads(tokens)
  File "C:\Python27\lib\json\__init__.py", line 338, in loads
    return _default_decoder.decode(s)
  File "C:\Python27\lib\json\decoder.py", line 366, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
TypeError: expected string or buffer" 

请帮帮我。

tweets_data_path = 'c:\\Python27\\Projects\\newstweets.txt'
stopset = set(stopwords.words('english'))

tweets_data = []
tweets_file = open(tweets_data_path, "r")
text = tweets_file.read()
tokens=word_tokenize(str(text))
tokens = [w for w in tokens if not w in stopset]
tweet = json.loads(tokens)
tweets_data.append(tweet)

Answer 1

json.loads 需要一个字符串，您正在尝试加载一个列表。

代替：

tokens = [w for w in tokens if not w in stopset]

试试：

tokens = str([w for w in tokens if not w in stopset])