如何处理Pandas中的SettingWithCopyWarning?

python pandas dataframe chained-assignment


Background

我刚刚将我的Pandas从0.11升级到0.13.0rc1。现在,应用程序弹出了很多新的警告。其中有一条是这样的。

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE

我想知道它到底是什么意思?我需要改变什么吗?

如果我坚持使用 quote_df['TVol'] = quote_df['TVol']/TVOL_SCALE 应该如何暂停警告?

给出错的函数

def _decode_stock_quote(list_of_150_stk_str):
    """decode the webpage and return dataframe"""

    from cStringIO import StringIO

    str_of_all = "".join(list_of_150_stk_str)

    quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
    quote_df['TClose'] = quote_df['TPrice']
    quote_df['RT']     = 100 * (quote_df['TPrice']/quote_df['TPCLOSE'] - 1)
    quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
    quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
    quote_df['STK_ID'] = quote_df['STK'].str.slice(13,19)
    quote_df['STK_Name'] = quote_df['STK'].str.slice(21,30)#.decode('gb2312')
    quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])

    return quote_df

更多错误信息

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
E:\FinReporter\FM_EXT.py:450: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
E:\FinReporter\FM_EXT.py:453: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])




Answer 1 Garrett


SettingWithCopyWarning 被创造标志可能造成混淆的“链接”的任务,比如下面这并不总是如预期的工作,特别是当第一选择返回一个副本。[ 有关背景讨论,请参见GH5390GH5597。]

df[df['A'] > 2]['B'] = new_val  # new_val not set in df

该警告提出了以下重写建议。

df.loc[df['A'] > 2, 'B'] = new_val

不过,这并不符合你的用法,相当于。

df = df[df['A'] > 2]
df['B'] = new_val

很明显,您不必在意将其写回到原始帧的写操作(因为您重写了对它的引用),但不幸的是,这种模式无法与第一个链式分配示例区分开,因此(误报)警告。如果您想进一步阅读,可能会在建立索引的文档中解决误报的可能性。您可以通过以下分配安全地禁用此新警告。

import pandas as pd
pd.options.mode.chained_assignment = None  # default='warn'



Answer 2 cs95


如何处理Pandas中的 SettingWithCopyWarning

这个帖子是为读者们准备的。

  1. 想了解这个警告是什么意思
  2. 希望了解抑制这种警告的不同方法。
  3. 希望了解如何改进他们的代码,并遵循良好的做法,以避免将来出现这种警告。

Setup

np.random.seed(0)
df = pd.DataFrame(np.random.choice(10, (3, 5)), columns=list('ABCDE'))
df
   A  B  C  D  E
0  5  0  3  3  7
1  9  3  5  2  4
2  7  6  8  8  1

什么是 SettingWithCopyWarning

要知道如何处理这个警告,首先要了解它的含义和为什么会提出这个警告。

过滤DataFrame时,可以对帧进行切片/索引以返回viewcopy,具体取决于内部布局和各种实现细节。顾名思义,“视图”是原始数据的视图,因此修改视图可能会修改原始对象。另一方面,“副本”是原始数据的复制,修改副本不会影响原始数据。

如其他答案所述,创建了 SettingWithCopyWarning 以标记“链式分配”操作。在上述设置中考虑 df 。假设您要选择“ B”列中的所有值,其中“ A”列中的值>5。Pandas允许您以不同的方式执行此操作,其中某些方法比其他方法更正确。例如,

df[df.A > 5]['B']

1    3
2    6
Name: B, dtype: int64

And,

df.loc[df.A > 5, 'B']

1    3
2    6
Name: B, dtype: int64

这些返回相同的结果,因此,如果仅读取这些值,则没有区别。那么,问题是什么呢?链式分配的问题在于,通常很难预测是否返回视图或副本,因此在尝试分配回值时这在很大程度上成为一个问题。为了建立在前面的示例的基础上,请考虑解释器如何执行此代码:

df.loc[df.A > 5, 'B'] = 4
# becomes
df.__setitem__((df.A > 5, 'B'), 4)

通过对 df 的单个 __setitem__ 调用。OTOH,请考虑以下代码:

df[df.A > 5]['B'] = 4
# becomes
df.__getitem__(df.A > 5).__setitem__('B", 4)

现在,根据 __getitem__ 返回的视图还是副本, __setitem__ 操作可能不起作用

通常,应该使用 loc 进行基于标签的分配,而使用 iloc 进行基于整数/位置的分配,因为该规范保证了它们始终在原始文件上运行。另外,要设置单个单元格,应使用 at iat

可以在文档中找到更多信息。

Note
使用 loc 完成的所有布尔索引操作也可以使用 iloc 完成。唯一的区别是 iloc 期望索引的整数/位置或布尔值的numpy数组,以及列的整数/位置索引。

例如:

df.loc[df.A > 5, 'B'] = 4

可写成鼻祖

df.iloc[(df.A > 5).values, 1] = 4

And,

df.loc[1, 'A'] = 100

可写成

df.iloc[1, 0] = 100

诸如此类。


只要告诉我如何压制警告就可以了!

考虑一下 df 的“ A”列上的简单操作。选择“ A”并除以2将发出警告,但该操作将起作用。

df2 = df[['A']]
df2['A'] /= 2
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/IPython/__main__.py:1: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

df2
     A
0  2.5
1  4.5
2  3.5

有几种方法可以直接消音这个警告。

  1. 进行 deepcopy

    df2 = df[['A']].copy(deep=True)
    df2['A'] /= 2
  2. 更改 pd.options.mode.chained_assignment
    可以设置为 None"warn""raise" 。默认为 "warn"None 不会完全抑制警告,而 "raise" 将抛出 SettingWithCopyError ,从而阻止操作进行。

    pd.options.mode.chained_assignment = None
    df2['A'] /= 2

@Peter Cotton在评论中提出了一种不错的方法,即使用上下文管理器以非侵入方式更改模式(从此要点修改),仅在需要时才设置模式,并将其重置回完成后的原始状态。

class ChainedAssignent:
    def __init__(self, chained=None):
        acceptable = [None, 'warn', 'raise']
        assert chained in acceptable, "chained must be in " + str(acceptable)
        self.swcw = chained

    def __enter__(self):
        self.saved_swcw = pd.options.mode.chained_assignment
        pd.options.mode.chained_assignment = self.swcw
        return self

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = self.saved_swcw

其用法如下:

# some code here
with ChainedAssignent():
    df2['A'] /= 2
# more code follows

或者,提出例外情况

with ChainedAssignent(chained='raise'):
    df2['A'] /= 2

SettingWithCopyError: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

"XY问题"。我做错了什么?

很多时候,用户尝试寻找抑制此异常的方法,而没有完全理解为什么首先出现该异常。这是XY问题的一个很好的示例,用户尝试解决问题“ Y”,这实际上是更深层次的问题“ X”的症状。将基于遇到此警告的常见问题提出问题,然后提出解决方案。

问题1
我有一个DataFrame

df
       A  B  C  D  E
    0  5  0  3  3  7
    1  9  3  5  2  4
    2  7  6  8  8  1

我想为col“ A”> 5到1000分配值。我的预期输出是

      A  B  C  D  E
0     5  0  3  3  7
1  1000  3  5  2  4
2  1000  6  8  8  1

错误的做法。

df.A[df.A > 5] = 1000         # works, because df.A returns a view
df[df.A > 5]['A'] = 1000      # does not work
df.loc[df.A  5]['A'] = 1000   # does not work

使用 loc 的正确方法:

df.loc[df.A > 5, 'A'] = 1000


问题2 1
我试图将单元格(1,'D')中的值设置为12345。我的预期输出是

   A  B  C      D  E
0  5  0  3      3  7
1  9  3  5  12345  4
2  7  6  8      8  1

我尝试了访问 df['D'][1] 等不同方式来访问此单元格 。做这个的最好方式是什么?

1.这个问题与警告并不特别相关,但是最好了解如何正确执行此特定操作,以避免将来可能出现警告的情况。

你可以使用以下任何一种方法来做这件事。

df.loc[1, 'D'] = 12345
df.iloc[1, 3] = 12345
df.at[1, 'D'] = 12345
df.iat[1, 3] = 12345


问题3
我正在尝试根据一些条件进行子集。我有一个DataFrame

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

我想把 "D "中的值分配给123,这样 "C"===5。我试着用

df2.loc[df2.C == 5, 'D'] = 123

看起来不错,但我仍在获取 SettingWithCopyWarning !我该如何解决?

实际上,这可能是因为您的管道中的代码更高。你创建 df2 从更大的东西,像

df2 = df[df.A > 5]

?在这种情况下,布尔索引将返回一个视图,因此 df2 将引用原始视图。您需要做的是将 df2 分配给副本

df2 = df[df.A > 5].copy()
# Or,
# df2 = df.loc[df.A > 5, :]


问题4
我试着把 "C "列放在原地,从

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

但是,使用

df2.drop('C', axis=1, inplace=True)

抛出 SettingWithCopyWarning 。为什么会这样呢?

这是因为 df2 必须已经通过其他切片操作(例如:

df2 = df[df.A > 5]

这里的解决方案是要么做一个 copy()df ,或使用 loc ,如前。




Answer 3 Jeff


通常, SettingWithCopyWarning 的目的是向用户(尤其是新用户)显示他们可能正在使用副本,而不是他们认为的原始内容。这里误报(IOW如果你知道你在做什么,它可能是好的)。一种可能性就是按照@Garrett的建议关闭(默认情况下为警告)警告。

这里是另一种选择。

In [1]: df = DataFrame(np.random.randn(5, 2), columns=list('AB'))

In [2]: dfa = df.ix[:, [1, 0]]

In [3]: dfa.is_copy
Out[3]: True

In [4]: dfa['A'] /= 2
/usr/local/bin/ipython:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  #!/usr/local/bin/python

您可以将 is_copy 标志设置为 False ,这将有效地关闭该对象的检查:

In [5]: dfa.is_copy = False

In [6]: dfa['A'] /= 2

如果你明确地复制,那么就不会有进一步的警告。

In [7]: dfa = df.ix[:, [1, 0]].copy()

In [8]: dfa['A'] /= 2

OP在上面显示的代码虽然合法,而且可能我也做过,但从技术上讲,此警告仅是这种情况,而不是误报。没有警告的另一种方法是通过 reindex 进行选择操作,例如

quote_df = quote_df.reindex(columns=['STK', ...])

Or,

quote_df = quote_df.reindex(['STK', ...], axis=1)  # v.0.21



Answer 4 firelynx


潘达斯数据框复制警告

当你去做这样的事情时。

quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

pandas.ix 在这种情况下,pandas.ix返回一个新的独立数据框。

你决定在此数据框中更改的任何值,都不会改变原始数据框。

这就是大熊猫想提醒你的。


为什么 .ix 是个坏主意

.ix 对象尝试做多件事情,和任何人谁了解干净的代码什么,这是一个强烈的气味。

鉴于这个数据框架,

df = pd.DataFrame({"a": [1,2,3,4], "b": [1,1,2,2]})

两种行为。

dfcopy = df.ix[:,["a"]]
dfcopy.a.ix[0] = 2

行为一: dfcopy 现在是一个独立的数据框。更改它不会更改 df

df.ix[0, "a"] = 3

行为二。这改变了原来的数据框架。


使用 .loc 代替

熊猫开发人员意识到 .ix 对象非常有(推测)气味,因此创建了两个新对象,这些对象有助于数据的访问和分配。(另一个是 .iloc

.loc 更快,因为它不会尝试创建数据副本。

.loc 旨在就地修改您现有的数据帧,从而提高内存效率。

.loc 是可预测的,它具有一种行为。


解决办法

在你的代码示例中,你正在做的是加载一个有很多列的大文件,然后修改成更小的文件。

pd.read_csv 功能可以帮你出了很多本,也使文件快了很多的负荷。

所以,与其这样做,不如这样做

quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

这样做

columns = ['STK', 'TPrice', 'TPCLOSE', 'TOpen', 'THigh', 'TLow', 'TVol', 'TAmt', 'TDate', 'TTime']
df = pd.read_csv(StringIO(str_of_all), sep=',', usecols=[0,3,2,1,4,5,8,9,30,31])
df.columns = columns

这只会读取您感兴趣的列,并正确命名它们。无需使用邪恶的 .ix 对象来做神奇的事情。




Answer 5 user443854


在这里,我直接回答这个问题。如何应对?

切片后进行 .copy(deep=False) 。参见pandas.DataFrame.copy

等等,切片不回副本吗?毕竟,这就是警告信息试图表达的意思?看完了长长的答案。

import pandas as pd
df = pd.DataFrame({'x':[1,2,3]})

这给了一个警告。

df0 = df[df.x>2]
df0['foo'] = 'bar'

这不。

df1 = df[df.x>2].copy(deep=False)
df1['foo'] = 'bar'

无论 df0df1DataFrame 的对象,但一些关于他们是不同的,它使大熊猫打印的警告。让我们找出它是什么。

import inspect
slice= df[df.x>2]
slice_copy = df[df.x>2].copy(deep=False)
inspect.getmembers(slice)
inspect.getmembers(slice_copy)

使用你所选择的差异工具,你会发现,除了几个地址之外,唯一的实质性区别就是这个。

|          | slice   | slice_copy |
| _is_copy | weakref | None       |

决定是否发出警告的方法是 DataFrame._check_setitem_copy ,它检查 _is_copy 。所以,你去。进行 copy 以使您的DataFrame不是 _is_copy

该警告建议使用 .loc ,但是如果在 _is_copy 的框架上使用 .loc ,您仍会收到相同的警告。误导?是。烦人吗 你打赌 有帮助吗?潜在地,当使用链式分配时。但是它不能正确检测链条分配,并且会随意打印警告。