在合并到行 pandas/python 之前清理数据

Question

对于从csv读取的数据集，例如，

id     street       suburb        postcode   timeStamp
A1      aa            BB            001       2016
A1      aa            BB            001       2019

我应该合并具有相同id的行，如果值冲突，使用最新的。所以合并后的数据集应该是：

 id     street       suburb        postcode   timeStamp
A1      aa            BB            001       2019

但CSV中的数据集是：

id     street            suburb        postcode   timeStamp
A1      aa                 BB            001      2016
A1      aa BB 001          None           None    2019 

人们可能会在街道列中输入整个地址。 我想我需要在合并这 2 行之前清理数据。

这里是我目前的版本，合并前没有考虑以上情况。

import pandas as pd

test = pd.read_csv("dd.csv")
df = pd.DataFrame(test)
df = df.sort_values(["id","timeStamp"])
duplicateRowsDF = df[df.duplicated(keep=False,subset='id')]
df=df.ffill().drop_duplicates('id',keep='last')

我应该如何清理这样的数据？ 我在想如果此列中的值以数字结尾，请将数字移至邮政编码，将邮政编码前的单词移至郊区列...

编程和 stackoverflow 的新手，如果不清楚，请告诉我。 谢谢

编辑： 如果郊区可能不止一个词怎么办，我怎么能把郊区和街道分开呢？在“St”、“Rd”等词之后分割街道？

    id     street                      suburb        postcode   timeStamp
A1      aa St                      pitt town       001      2016
A1      aa St pitt town  001       None           None      2019 

Answer 1

如果 street 中的值总是用 " " 分隔，那么您可以使用 split 方法并获取每列所需的值。然后，您可以使用 drop duplicates 方法并传入要用作确定是否重复的列的子集。

# Use only if 'None' is an actual string in your data
df = df.replace('None', np.nan)


df['suburb'] = df['suburb'].where(~df.suburb.isnull(), df.street.str.split().str[1])
df['postcode'] = df['postcode'].where(~df.postcode.isnull(), df.street.str.split().str[2])
df['street'] = df['street'].str.split().str[0]

df.head()

| id | street | suburb | postcode | timeStamp |
|----|--------|--------|----------|-----------|
| A1 | aa     | BB     | 001      | 2016      |
| A1 | aa     | BB     | 001      | 2019      |

df.drop_duplicates(subset=['id', 'street', 'suburb', 'postcode'], keep='last')

| id | street | suburb | postcode | timeStamp |
|----|--------|--------|----------|-----------|
| A1 | aa     | BB     | 001      | 2019      |