使用新数据附加 pandas 数据框答案

【问题标题】：Appending a pandas dataframe with new data使用新数据附加 pandas 数据框
【发布时间】：2019-07-09 12:42:47
【问题描述】：

我正在尝试构建股票数据的 DataFrame，我可以获取我需要的所有数据，但一次只能获取 1000 个数据点。所以我想要做的是将最初的 1000 个数据点保存在一个 csv 文件中，然后不时地再次运行我的程序，以及任何新数据，我想附加到旧的 DataFrame 中。所以它需要检查 'new df' 和 'old df' 并追加任何新行。

假设我的“旧 df”保存在 csv 文件中，如下所示：

Date     Stock A  Stock B  Stock C  Stock D
01/02/19 100.0    87.0     74.0     228.0
02/02/19 101.5    87.5     75.0     227.0
03/02/19 102.0    89.0     76.5     225.5

然后我第二天运行我的程序，'new df' 看起来像这样：

Date     Stock A  Stock B  Stock C  Stock D
02/02/19 101.5    87.5     75.0     227.0
03/02/19 102.0    89.0     76.5     225.5
04/02/19 103.0    89.5     77.5     226.0

然后我需要让我的程序识别“新 df”中的最后一行不在“旧 df”中，并在“旧 df”中附加最近的数据，在这种情况下：

04/02/19 103.0    89.5     77.5     226.0

生成以下 df，然后将其保存为“旧 df”，以便我可以在第二天重复该过程：

Date     Stock A  Stock B  Stock C  Stock D
01/02/19 100.0    87.0     74.0     228.0
02/02/19 101.5    87.5     75.0     227.0
03/02/19 102.0    89.0     76.5     225.5
04/02/19 103.0    89.5     77.5     226.0

我想代码将不得不使用一些变体：

old_df.append(new_df)

但是里面有一些东西可以扫描 old_df 中已经存在的数据。

任何帮助将不胜感激。

这是我目前的代码：

import requests
import json
import pandas as pd
import datetime as dt

#total_data = pd.read_csv('1m_bin_db.csv')
#total_data.set_index('Date', inplace=True)

def get_bars(symbol, interval):
   url = 'https://api.binance.com/api/v1/klines?symbol=' + symbol + '&interval=' + interval + '&limit=1000'
   data = json.loads(requests.get(url).text)
   df = pd.DataFrame(data)
   df.columns = ['open_time',
                 'o', 'h', 'l', 'c', 'v',
                 'close_time', 'qav', 'num_trades',
                 'taker_base_vol', 'taker_quote_vol', 'ignore']
   df.index = [dt.datetime.fromtimestamp(x/1000.0) for x in df.close_time]
   return df

coins = ['ADABTC']

dfs = []
for coin in coins:
    get_data = get_bars(coin, '1m')
    df = get_data[['o', 'h', 'l', 'c', 'v']].add_prefix(coin + '_')
    df = df.apply(lambda x: pd.to_numeric(x, errors='coerce'))
    dfs.append(df)

prices_1m = pd.concat(dfs, axis=1)
prices_1m.index.name = 'Date'

当我从 CSV 打印 total_data 时，我得到：

                         ADABTC_o  ADABTC_h    ...     ADABTC_c  ADABTC_v
Date                                           ...                       
2019-02-15 12:41:59.999  0.000011  0.000011    ...     0.000011   48805.0
2019-02-15 12:42:59.999  0.000011  0.000011    ...     0.000011     837.0
2019-02-15 12:43:59.999  0.000011  0.000011    ...     0.000011   19430.0
2019-02-15 12:44:59.999  0.000011  0.000011    ...     0.000011   15319.0
2019-02-15 12:45:59.999  0.000011  0.000011    ...     0.000011  769414.0

当我打印 prices_1m 时，我得到：

                         ADABTC_o  ADABTC_h    ...     ADABTC_c  ADABTC_v
Date                                           ...                       
2019-02-15 12:43:59.999  0.000011  0.000011    ...     0.000011   19430.0
2019-02-15 12:44:59.999  0.000011  0.000011    ...     0.000011   15319.0
2019-02-15 12:45:59.999  0.000011  0.000011    ...     0.000011  773414.0
2019-02-15 12:46:59.999  0.000011  0.000011    ...     0.000011    7449.0
2019-02-15 12:47:59.999  0.000011  0.000011    ...     0.000011       0.0

所以我想做的就是将最后两行粘贴在total_data 的底部，我做到了：

df = total_data.append(prices_1m).drop_duplicates()

结果如下：

                            ADABTC_o  ADABTC_h    ...     ADABTC_c  ADABTC_v
Date                                              ...                       
2019-02-15 12:43:59.999     0.000011  0.000011    ...     0.000011   19430.0
2019-02-15 12:44:59.999     0.000011  0.000011    ...     0.000011   15319.0
2019-02-15 12:45:59.999     0.000011  0.000011    ...     0.000011  769414.0
2019-02-15 12:45:59.999000  0.000011  0.000011    ...     0.000011  773414.0
2019-02-15 12:46:59.999000  0.000011  0.000011    ...     0.000011    7449.0

所以我认为问题在于数据本质上是“实时”的，因此 12:45:59.999 是total_data 中的最后一个数据点，我可能在 60 秒数据周期还剩 10 秒时得到了该数据.所以在prices_1m 12:45:59.999 数据点是完全更新的，这解释了重复时间但不同“V”列之间的差异。所以我觉得我们快到了，但我希望prices_1m 优先于total_data，所以最近的数据附加到total_data。

2019-02-15 12:45:59.999  0.000011  0.000011    ...     0.000011  773414.0

所以我希望该行成为2019-02-15 12:45:59.999 的条目，然后从那里继续追加。

我在打印时得到这个（total_data.index）：

Index(['2019-02-14 20:06:59.999', '2019-02-14 20:07:59.999',
       '2019-02-14 20:08:59.999', '2019-02-14 20:09:59.999',
       '2019-02-14 20:10:59.999', '2019-02-14 20:11:59.999',
       '2019-02-14 20:12:59.999', '2019-02-14 20:13:59.999',
       '2019-02-14 20:14:59.999', '2019-02-14 20:15:59.999',
       ...
       '2019-02-15 12:36:59.999', '2019-02-15 12:37:59.999',
       '2019-02-15 12:38:59.999', '2019-02-15 12:39:59.999',
       '2019-02-15 12:40:59.999', '2019-02-15 12:41:59.999',
       '2019-02-15 12:42:59.999', '2019-02-15 12:43:59.999',
       '2019-02-15 12:44:59.999', '2019-02-15 12:45:59.999'],
      dtype='object', name='Date', length=1000)

【问题讨论】：

有 DatetimeIndex 吗？
你需要删除所有重复的行吗？

标签： pandas dataframe append

【解决方案1】：

我相信您需要使用DatetimeIndex 和concat，而不是merge by date 专栏：

coins = ['ADABTC']

dfs = []
for coin in coins:
    get_data = get_bars(coin, '1m')
    df = get_data[['o', 'h', 'l', 'c', 'v']].add_prefix(coin + '_')
    df = df.apply(lambda x: pd.to_numeric(x, errors='coerce'))
    dfs.append(df)

prices_1m = pd.concat(dfs, axis=1)
prices_1m.to_csv('1m_bin_db.csv')

然后：

total_data.index = pd.to_datetime(total_data.index)

df = total_data.append(prices_1m)
df = df[~df.index.duplicated(keep='last')]

【讨论】：

如果日期是索引是。 :)
好吧，我同意你，这听起来很明智。让我玩一下这一切，我会知道的。谢谢老兄
@topbantz - 是的，如果在每个循环中的日期时间应该以秒为单位有所不同，请告诉我。
嗨，伙计，刚刚编辑了我的问题。所以我基本上还有一个小问题，希望我已经解释清楚了。
伙计，成功了，邪恶的回答，非常感谢您的帮助！

【解决方案2】：

如果日期不是索引，请使用 append 和 drop_duplicates()。

old_df.append(new_df).drop_duplicates('Date')

如果可能更改数据并且您希望保留最新值：

df.append(df1).sort_values('Date',ascending=False).drop_duplicates('Date')

【讨论】：