SettingWithCopyWarning판다에서 다루는 방법 ?

이 게시물은 독자,

1. 이 경고의 의미를 이해하고 싶습니다
2. 이 경고를 억제하는 다른 방법을 이해하고 싶습니다
3. 앞으로이 경고를 피하기 위해 코드를 개선하고 모범 사례를 따르는 방법을 이해하고 싶습니다.

설정

np.random.seed(0)
df = pd.DataFrame(np.random.choice(10, (3, 5)), columns=list('ABCDE'))
df
   A  B  C  D  E
0  5  0  3  3  7
1  9  3  5  2  4
2  7  6  8  8  1

무엇입니까 SettingWithCopyWarning?

이 경고를 처리하는 방법을 이해하려면 의미와 의미를 이해하는 것이 중요합니다.

DataFrames를 필터링 할 때 내부 레이아웃과 다양한 구현 세부 사항에 따라 프레임을 슬라이스 / 인덱싱하여 뷰 또는 복사본 을 반환 할 수 있습니다 . “보기”는 용어에서 알 수 있듯이 원래 데이터에 대한보기이므로보기를 수정하면 원래 개체가 수정 될 수 있습니다. 반면 “복사”는 원본의 데이터를 복제 한 것으로, 사본을 수정해도 원본에는 영향을 미치지 않습니다.

다른 답변에서 언급했듯이 SettingWithCopyWarning는 “체인 할당”작업에 플래그를 지정하기 위해 만들어졌습니다. df위의 설정을 고려하십시오 . “A”열의 값이> 5 인 “B”열의 모든 값을 선택한다고 가정합니다. Pandas를 사용하면 다른 방법보다 더 정확한 방법으로이 작업을 수행 할 수 있습니다. 예를 들어

df[df.A > 5]['B']

1    3
2    6
Name: B, dtype: int64

과,

df.loc[df.A > 5, 'B']

1    3
2    6
Name: B, dtype: int64

이들은 동일한 결과를 반환하므로이 값만 읽는 경우 아무런 차이가 없습니다. 그래서 무엇이 문제입니까? 체인 할당의 문제점은 일반적으로보기 또는 사본이 리턴되는지 여부를 예측하기 어렵 기 때문에 값을 다시 지정하려고 할 때 문제가된다는 것입니다. 이전 예제를 빌드하려면 인터프리터가이 코드를 실행하는 방법을 고려하십시오.

df.loc[df.A > 5, 'B'] = 4
# becomes
df.__setitem__((df.A > 5, 'B'), 4)

에 대한 단일 __setitem__호출로 df. OTOH,이 코드를 고려하십시오 :

df[df.A > 5]['B'] = 4
# becomes
df.__getitem__(df.A > 5).__setitem__('B", 4)

이제 __getitem__보기 또는 사본을 리턴 했는지 여부에 따라 __setitem__조작 이 작동하지 않을 수 있습니다 .

일반적으로 loc레이블 기반 할당 및 iloc정수 / 위치 기반 할당에는 스펙이 항상 원본에서 작동 함을 보증하므로 사용해야합니다. 또한 단일 셀을 설정하려면 at및 을 사용해야합니다 iat.

자세한 내용은 설명서를 참조하십시오 .

참고
모든 부울 인덱싱 작업 loc은로도 수행 할 수 있습니다 iloc. 유일한 차이점은 iloc인덱스의 정수 / 위치 또는 부울 값의 numpy 배열 및 열의 정수 / 위치 인덱스 가 필요하다는 것 입니다.

예를 들어

df.loc[df.A > 5, 'B'] = 4

nas라고 쓸 수 있습니다

df.iloc[(df.A > 5).values, 1] = 4

과,

df.loc[1, 'A'] = 100

로 쓸 수 있습니다

df.iloc[1, 0] = 100

등등.

경고를 억제하는 방법을 알려주십시오!

의 “A”열에 대한 간단한 작업을 고려하십시오 df. “A”를 선택하고 2로 나누면 경고가 발생하지만 작업은 작동합니다.

df2 = df[['A']]
df2['A'] /= 2
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/IPython/__main__.py:1: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

df2
     A
0  2.5
1  4.5
2  3.5

이 경고를 직접하는 몇 가지 방법이 있습니다.

1. 을 만들다 deepcopy

   df2 = df[['A']].copy(deep=True)
   df2['A'] /= 2
   

2. 변화pd.options.mode.chained_assignment
   에 설정할 수 있습니다 None, "warn"또는 "raise". "warn"기본값입니다. None완전히 경고를 억제하며, "raise"을 던질 것이다 SettingWithCopyError겪고에서 작업을 방지.

   pd.options.mode.chained_assignment = None
   df2['A'] /= 2
   

면 @ 피터 코멘트에 비 간섭 적 (에서 수정 모드로 변경하는 좋은 방법 해낸 이 요점을 동안 만이 필요로 모드를 설정, 컨텍스트 관리자를 사용), 다시로 리셋을 완료되면 원래 상태.

class ChainedAssignent:
    def __init__(self, chained=None):
        acceptable = [None, 'warn', 'raise']
        assert chained in acceptable, "chained must be in " + str(acceptable)
        self.swcw = chained

    def __enter__(self):
        self.saved_swcw = pd.options.mode.chained_assignment
        pd.options.mode.chained_assignment = self.swcw
        return self

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = self.saved_swcw

사용법은 다음과 같습니다.

# some code here
with ChainedAssignent():
    df2['A'] /= 2
# more code follows

또는 예외를 제기하기 위해

with ChainedAssignent(chained='raise'):
    df2['A'] /= 2

SettingWithCopyError: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

“XY 문제”: 내가 뭘 잘못하고 있니?

많은 경우에, 사용자는이 예외가 처음 발생한 이유를 완전히 이해하지 않고이 예외를 억제하는 방법을 찾으려고 시도합니다. 이것은 XY 문제 의 좋은 예입니다. 여기서 사용자는 실제로 “뿌리”문제인 “X”의 증상 인 “Y”문제를 해결하려고 시도합니다. 이 경고가 발생하는 일반적인 문제를 바탕으로 질문이 제기되고 솔루션이 제시됩니다.

질문 1
DataFrame이 있습니다

df
       A  B  C  D  E
    0  5  0  3  3  7
    1  9  3  5  2  4
    2  7  6  8  8  1

col “A”> 5 ~ 1000의 값을 할당하려고합니다. 예상 출력은 다음과 같습니다.

      A  B  C  D  E
0     5  0  3  3  7
1  1000  3  5  2  4
2  1000  6  8  8  1

이것을하는 잘못된 방법 :

df.A[df.A > 5] = 1000         # works, because df.A returns a view
df[df.A > 5]['A'] = 1000      # does not work
df.loc[df.A  5]['A'] = 1000   # does not work

올바른 방법으로 loc:

df.loc[df.A > 5, 'A'] = 1000

질문 2 ¹
셀 (1, ‘D’)의 값을 12345로 설정하려고합니다. 예상 출력은 다음과 같습니다.

   A  B  C      D  E
0  5  0  3      3  7
1  9  3  5  12345  4
2  7  6  8      8  1

이 셀에 액세스하는 다른 방법을 시도했습니다 (예 🙂
df['D'][1]. 가장 좋은 방법은 무엇입니까?

_{1.이 질문은 특별히 경고와 관련이 없지만 나중에 경고가 발생할 수있는 상황을 피하기 위해이 특정 작업을 올바르게 수행하는 방법을 이해하는 것이 좋습니다.}

다음 방법 중 하나를 사용하여이를 수행 할 수 있습니다.

df.loc[1, 'D'] = 12345
df.iloc[1, 3] = 12345
df.at[1, 'D'] = 12345
df.iat[1, 3] = 12345

질문 3
일부 조건에 따라 값의 하위 집합을 설정하려고합니다. DataFrame이 있습니다

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

“C”== 5가되도록 “D”의 값을 123에 할당하고 싶습니다.

df2.loc[df2.C == 5, 'D'] = 123

어느 것이 좋아 보이지만 여전히 받고 있습니다
SettingWithCopyWarning! 이 문제를 어떻게 해결합니까?

실제로 파이프 라인에서 코드가 높기 때문일 수 있습니다. df2더 큰 무언가로 만들었습니까?

df2 = df[df.A > 5]

? 이 경우 부울 인덱싱은 뷰를 반환하므로 df2원본을 참조합니다. 당신이해야 할 일은 사본에 할당 df2하는 것입니다 .

df2 = df[df.A > 5].copy()
# Or,
# df2 = df.loc[df.A > 5, :]

질문 4
열 “C”를 그 자리에서 삭제하려고합니다.

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

그러나 사용

df2.drop('C', axis=1, inplace=True)

던졌습니다 SettingWithCopyWarning. 왜 이런 일이 발생합니까?

이는 다음 df2과 같은 다른 슬라이스 작업에서보기로 작성 되었기 때문입니다.

df2 = df[df.A > 5]

여기서 해결책은 이전과 같이 또는를 사용 하는 것 copy()입니다 .dfloc

답변

In [1]: df = DataFrame(np.random.randn(5, 2), columns=list('AB'))

In [2]: dfa = df.ix[:, [1, 0]]

In [3]: dfa.is_copy
Out[3]: True

In [4]: dfa['A'] /= 2
/usr/local/bin/ipython:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  #!/usr/local/bin/python

In [5]: dfa.is_copy = False

In [6]: dfa['A'] /= 2

In [7]: dfa = df.ix[:, [1, 0]].copy()

In [8]: dfa['A'] /= 2

quote_df = quote_df.reindex(columns=['STK', ...])

quote_df = quote_df.reindex(['STK', ...], axis=1)  # v.0.21

quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

df = pd.DataFrame({"a": [1,2,3,4], "b": [1,1,2,2]})

dfcopy = df.ix[:,["a"]]
dfcopy.a.ix[0] = 2

df.ix[0, "a"] = 3

quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

columns = ['STK', 'TPrice', 'TPCLOSE', 'TOpen', 'THigh', 'TLow', 'TVol', 'TAmt', 'TDate', 'TTime']
df = pd.read_csv(StringIO(str_of_all), sep=',', usecols=[0,3,2,1,4,5,8,9,30,31])
df.columns = columns

import pandas as pd
df = pd.DataFrame({'x':[1,2,3]})

df0 = df[df.x>2]
df0['foo'] = 'bar'

df1 = df[df.x>2].copy(deep=False)
df1['foo'] = 'bar'

import inspect
slice= df[df.x>2]
slice_copy = df[df.x>2].copy(deep=False)
inspect.getmembers(slice)
inspect.getmembers(slice_copy)

|          | slice   | slice_copy |
| _is_copy | weakref | None       |

df  # Some DataFrame
df = df.loc[:, 0:2]  # Some filtering (unsure whether a view or copy is returned)
df = df.copy()  # Ensuring a copy is made
df[df["Name"] == "John"] = "Johny"  # Assignment can be done now (no warning)

/opt/anaconda3/lib/python3.6/site-packages/ipykernel/__main__.py:54:
SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame
See the caveats in the documentation:
http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123


>> df2 = df1
>> df2

A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df1 affects df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    B
0   121
1   122
2   123

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

A   B
0   111 121
1   112 122
2   113 123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2
A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df1 does not affect df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    A   B
0   111 121
1   112 122
2   113 123

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123

>> df2 = df1
>> df2

    A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df2 can affect df1
# No slice involved here, but I believe the principle remains the same?
# Let me know if not
>> df2.drop('A', axis=1, inplace=True)
>> df1

B
0   121
1   122
2   123

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2

A   B
0   111 121
1   112 122
2   113 123

>> df2.drop('A', axis=1, inplace=True)
>> df1

A   B
0   111 121
1   112 122
2   113 123