Pandas：知道操作何时影响原始数据帧

Question

我喜欢 pandas 并且已经使用了多年，并且我非常有信心我能够很好地处理如何对数据帧进行子集化以及适当地处理视图与副本（尽管我使用了很多断言来确定）。我也知道有很多关于 SettingWithCopyWarning 的问题，例如How to deal with SettingWithCopyWarning in Pandas? 以及最近一些很棒的指南，可以在发生这种情况时将头缠住，例如Understanding SettingWithCopyWarning in pandas。

但我也知道诸如 this answer 的引用之类的具体内容不再出现在最新的文档 (0.22.0) 中，并且多年来许多内容已被弃用（导致一些不恰当的旧 SO 答案），并且那东西是continuing to change。

最近在教 pandas 完成新手学习非常基本的 Python 知识后，例如避免链式索引（并使用 .iloc/.loc），我仍然难以提供一般经验法则 知道什么时候注意SettingWithCopyWarning 很重要（例如，什么时候可以安全地忽略它）。

我个人发现，根据某些规则（例如切片或布尔运算）对数据帧进行子集化然后修改该子集的特定模式，独立于原始数据帧比文档建议的常见操作。在这种情况下，我们希望修改副本而不是原件，并且警告会让新手感到困惑/害怕。

我知道提前知道何时返回视图与副本并非易事，例如
What rules does Pandas use to generate a view vs a copy?
Checking whether data frame is copy or view in Pandas

因此，我正在寻找更一般（初学者友好）问题的答案：何时对子集数据帧执行操作会影响创建它的原始数据帧，它们何时独立？ 。

我在下面创建了一些我认为合理的案例，但我不确定我是否遗漏了“陷阱”，或者是否有任何更简单的方法来思考/检查这一点。我希望有人可以确认我对以下用例的直觉与我上面的问题有关。

import pandas as pd
df1 = pd.DataFrame({'A':[2,4,6,8,10],'B':[1,3,5,7,9],'C':[10,20,30,40,50]})

1) 警告：否
原始更改：否

# df1 will be unaffected because we use .copy() method explicitly 
df2 = df1.copy()
#
# Reference: docs
df2.iloc[0,1] = 100

2) 警告：是的（我不太明白为什么）
原始更改：否

# df1 will be unaffected because .query() always returns a copy
#
# Reference:
# https://stackoverflow.com/a/23296545/8022335
df2 = df1.query('A < 10')
df2.iloc[0,1] = 100

3) 警告：是
原始更改：否

# df1 will be unaffected because boolean indexing with .loc
# always returns a copy
#
# Reference:
# https://stackoverflow.com/a/17961468/8022335
df2 = df1.loc[df1['A'] < 10,:]
df2.iloc[0,1] = 100

4) 警告：否
原始更改：否

# df1 will be unaffected because list indexing with .loc (or .iloc)
# always returns a copy
#
# Reference:
# Same as 4)
df2 = df1.loc[[0,3,4],:]
df2.iloc[0,1] = 100

5) 警告：否
原作改动：是（让新手感到困惑，但有道理）

# df1 will be affected because scalar/slice indexing with .iloc/.loc
# always references the original dataframe, but may sometimes 
# provide a view and sometimes provide a copy
#
# Reference: docs
df2 = df1.loc[:10,:]
df2.iloc[0,1] = 100

tl;博士 从原始数据框创建新数据框时，更改新数据框：
当标量/切片索引与 .loc/.iloc 用于创建新数据帧时，将更改原始数据。
不会在使用 .loc、.query() 或 .copy() 的布尔索引创建新数据框时更改原始索引

Answer 1

我也有同样的疑问，我过去搜索过这个回复没有成功。所以现在，我只是证明原件没有改变，并在程序开始删除警告时使用这种代码和平：

 import pandas as pd
 pd.options.mode.chained_assignment = None  # default='warn'

Answer 2

您只需将.iloc[0,1] 替换为.iat[0,1]。

一般来说，如果您只想修改一个元素，您应该使用.iat 或.at 方法。相反，当您一次修改多个元素时，您应该使用.loc 或.iloc 方法。

这样做，熊猫不应该抛出任何警告。

Answer 3

这对 pandas 来说有点令人困惑甚至令人沮丧，但在大多数情况下，如果您遵循一些简单的工作流程规则，您就不必真正担心这一点。特别要注意的是，当您有两个数据帧时，这里只有两种一般情况，其中一个是另一个的子集。

在这种情况下，Python 的禅宗规则“显式优于隐式”是一个很好的指导方针。

案例 A：对df2 的更改不应影响df1

当然，这是微不足道的。您需要两个完全独立的数据框，因此您只需明确地制作一个副本：

df2 = df1.copy()

在此之后，您对df2 所做的任何事情都只会影响df2 而不会影响df1，反之亦然。

案例 B：对df2 的更改也会影响df1

在这种情况下，我认为没有一种通用的方法可以解决问题，因为这完全取决于您要执行的操作。但是，有几个标准方法非常简单，它们的工作方式不应有任何歧义。

方法一：复制df1到df2，然后用df2更新df1

在这种情况下，您基本上可以对上面的示例进行一对一的转换。这是示例 #2：

df2 = df1.copy()
df2 = df1.query('A < 10')
df2.iloc[0,1] = 100

df1 = df2.append(df1).reset_index().drop_duplicates(subset='index').drop(columns='index')

不幸的是，通过append 重新合并在那里有点冗长。您可以使用以下方法更清晰地完成此操作，尽管它具有将整数转换为浮点数的副作用。

df1.update(df2)   # note that this is an inplace operation

方法2：使用掩码（根本不要创建df2）

我认为这里最好的通用方法根本不是创建df2，而是让它成为df1 的掩码版本。有点遗憾的是，您无法直接翻译上述代码，因为它混合了 loc 和 iloc，这对于本示例来说很好，但对于实际使用可能不切实际。

优点是可以编写非常简单易读的代码。这是上面示例#2 的替代版本，其中df2 实际上只是df1 的掩码版本。但不是通过iloc 进行更改，而是在列“C”== 10 时进行更改。

df2_mask = df1['A'] < 10
df1.loc[ df2_mask & (df1['C'] == 10), 'B'] = 100

现在，如果您打印 df1 或 df1[df2_mask]，您将看到每个数据帧的第一行的“B”列 = 100。显然这在这里并不令人惊讶，但这就是遵循“显式优于隐式”的固有优势。