本文介绍了如何从pickle文件中获取数据到pandas数据框中的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
限时送ChatGPT账号..我正在为一个班级进行社交媒体情绪分析.我已经将两个月内有关肯塔基德比的所有推文保存到 pkl 文件中.
I'm working on a social media sentiment analysis for a class. I have gotten all of the tweets about the Kentucky Derby for a 2 month period saved into pkl files.
我的问题是:如何将所有这些泡菜转储文件加载到数据框中?
My question is: how do I get all of these pickle dump files loaded into a dataframe?
这是我的代码:
import sklearn as sk
import pandas as pd
import got3
def daterange(start_date, end_date):
for n in range(int ((end_date - start_date).days)):
yield start_date + timedelta(n)
start_date = date(2016, 3, 31)
end_date = date(2016, 6, 1)
dates = []
for single_date in daterange(start_date, end_date):
dates.append(single_date.strftime("%Y-%m-%d"))
for i in range(len(dates)-1):
this_date = dates[i]
tomorrow_date = dates[i+1]
print("Getting tweets for " + tomorrow_date)
tweetCriteria = got3.manager.TweetCriteria()
tweetCriteria.setQuerySearch("Kentucky Derby")
tweetCriteria.setQuerySearch("KYDerby")
tweetCriteria.setSince(this_date)
tweetCriteria.setUntil(tomorrow_date)
Kentucky_Derby_tweets = got3.manager.TweetManager.getTweets(tweetCriteria)
pkl.dump(Kentucky_Derby_tweets, open(tomorrow_date + ".pkl", "wb"))
推荐答案
您可以使用
pd.read_pickle(filename)
将其添加到列表中然后 pd.concat(thelist)
这篇关于如何从pickle文件中获取数据到pandas数据框中的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
更多推荐
[db:关键词]
发布评论