如何从泡菜文件中获取数据到熊猫数据框中

Question

我正在为一个班级进行社交媒体情绪分析。我已将 2 个月内有关肯塔基赛马的所有推文保存到 pkl 文件中。

我的问题是：如何将所有这些 pickle 转储文件加载到数据框中？

这是我的代码：

import sklearn as sk
import pandas as pd
import  got3

def daterange(start_date, end_date):
for n in range(int ((end_date - start_date).days)):
    yield start_date + timedelta(n)

start_date = date(2016, 3, 31)
end_date = date(2016, 6, 1)

dates = []

for single_date in daterange(start_date, end_date):
    dates.append(single_date.strftime("%Y-%m-%d"))

for i in range(len(dates)-1): 
    this_date = dates[i]
    tomorrow_date = dates[i+1]
    print("Getting tweets for " + tomorrow_date)
    tweetCriteria = got3.manager.TweetCriteria()
    tweetCriteria.setQuerySearch("Kentucky Derby")
    tweetCriteria.setQuerySearch("KYDerby")
    tweetCriteria.setSince(this_date)
    tweetCriteria.setUntil(tomorrow_date)
    Kentucky_Derby_tweets = got3.manager.TweetManager.getTweets(tweetCriteria)
    pkl.dump(Kentucky_Derby_tweets, open(tomorrow_date + ".pkl", "wb"))

Answer 1

你可以使用

1. pd.read_pickle(filename)
2. 将其添加到列表中
3. 然后pd.concat(thelist)