[python] Python 팬더에서 기존 DataFrame에 새 열 추가

이름이 지정된 열과 행이 연속적이지 않은 다음과 같은 인덱스 DataFrame이 있습니다.

          a         b         c         d
2  0.671399  0.101208 -0.181532  0.241273
3  0.446172 -0.243316  0.051767  1.577318
5  0.614758  0.075793 -0.451460 -0.012493

'e'기존 데이터 프레임에 새 열을 추가하고 데이터 프레임에서 아무것도 변경하지 않으려 고합니다 (예 : 새 열의 길이는 항상 DataFrame과 동일 함).

0   -0.335485
1   -1.166658
2   -0.385571
dtype: float64

e위 예제에 열 을 어떻게 추가 할 수 있습니까?



답변

원래 df1 색인을 사용하여 시리즈를 작성하십시오.

df1['e'] = pd.Series(np.random.randn(sLength), index=df1.index)

2015 편집
일부는 SettingWithCopyWarning이 코드를 사용 한다고보고했습니다 .
그러나 코드는 여전히 현재 팬더 버전 0.16.1에서 완벽하게 실행됩니다.

>>> sLength = len(df1['a'])
>>> df1
          a         b         c         d
6 -0.269221 -0.026476  0.997517  1.294385
8  0.917438  0.847941  0.034235 -0.448948

>>> df1['e'] = pd.Series(np.random.randn(sLength), index=df1.index)
>>> df1
          a         b         c         d         e
6 -0.269221 -0.026476  0.997517  1.294385  1.757167
8  0.917438  0.847941  0.034235 -0.448948  2.228131

>>> p.version.short_version
'0.16.1'

SettingWithCopyWarning목표는 Dataframe의 복사본을 가능성이 잘못된 할당의 통보합니다. 그것은 반드시 당신이 잘못했다고 말하지는 않지만 (거짓 긍정을 유발할 수 있음) 0.13.0에서 같은 목적에 더 적합한 방법이 있음을 알려줍니다. 그런 다음 경고가 표시되면 조언을 따르십시오. 대신 .loc [row_index, col_indexer] = value

>>> df1.loc[:,'f'] = pd.Series(np.random.randn(sLength), index=df1.index)
>>> df1
          a         b         c         d         e         f
6 -0.269221 -0.026476  0.997517  1.294385  1.757167 -0.050927
8  0.917438  0.847941  0.034235 -0.448948  2.228131  0.006109
>>> 

실제로 이것은 팬더 문서에 설명 된 것처럼 현재보다 효율적인 방법입니다.


2017 년 편집

주석과 @Alexander에 표시된 것처럼 현재 Series의 값을 DataFrame의 새 열로 추가하는 가장 좋은 방법은 다음을 사용할 수 있습니다 assign.

df1 = df1.assign(e=pd.Series(np.random.randn(sLength)).values)


답변

새 열을 추가하는 간단한 방법입니다. df['e'] = e


답변

기존 데이터 프레임에 새 열 ‘e’를 추가하고 데이터 프레임에서 아무것도 변경하지 않습니다. 시리즈는 항상 데이터 프레임과 길이가 같습니다.

인덱스 값이의 값과 e일치 한다고 가정합니다 df1.

이라는 새 열을 시작하고 e계열의 값을 지정 하는 가장 쉬운 방법은 다음 과 e같습니다.

df['e'] = e.values

할당 (팬더 0.16.0+)

Pandas 0.16.0부터는을 사용하여 assign새 열을 DataFrame에 할당하고 새 열뿐만 아니라 모든 원래 열이 포함 된 새 개체 (사본)를 반환 할 수도 있습니다.

df1 = df1.assign(e=e.values)

이 예 (도의 소스 코드를 포함하는 assign기능)은 또한 하나 개 이상의 열을 포함 할 수있다 :

df = pd.DataFrame({'a': [1, 2], 'b': [3, 4]})
>>> df.assign(mean_a=df.a.mean(), mean_b=df.b.mean())
   a  b  mean_a  mean_b
0  1  3     1.5     3.5
1  2  4     1.5     3.5

귀하의 예와 관련하여 :

np.random.seed(0)
df1 = pd.DataFrame(np.random.randn(10, 4), columns=['a', 'b', 'c', 'd'])
mask = df1.applymap(lambda x: x <-0.7)
df1 = df1[-mask.any(axis=1)]
sLength = len(df1['a'])
e = pd.Series(np.random.randn(sLength))

>>> df1
          a         b         c         d
0  1.764052  0.400157  0.978738  2.240893
2 -0.103219  0.410599  0.144044  1.454274
3  0.761038  0.121675  0.443863  0.333674
7  1.532779  1.469359  0.154947  0.378163
9  1.230291  1.202380 -0.387327 -0.302303

>>> e
0   -1.048553
1   -1.420018
2   -1.706270
3    1.950775
4   -0.509652
dtype: float64

df1 = df1.assign(e=e.values)

>>> df1
          a         b         c         d         e
0  1.764052  0.400157  0.978738  2.240893 -1.048553
2 -0.103219  0.410599  0.144044  1.454274 -1.420018
3  0.761038  0.121675  0.443863  0.333674 -1.706270
7  1.532779  1.469359  0.154947  0.378163  1.950775
9  1.230291  1.202380 -0.387327 -0.302303 -0.509652

이 새로운 기능이 처음 소개되었을 때의 설명은 여기 에서 찾을 수 있습니다 .


답변

최근 Pandas 버전에서는 df.assign 을 사용하는 같습니다.

df1 = df1.assign(e=np.random.randn(sLength))

생산하지 않습니다 SettingWithCopyWarning.


답변

NumPy 를 통해이를 직접 수행하는 것이 가장 효율적입니다.

df1['e'] = np.random.randn(sLength)

내 원래 (매우 오래된) 제안 map은 훨씬 느리게 사용 하는 것입니다.

df1['e'] = df1['a'].map(lambda x: np.random.random())


답변

매우 간단한 열 할당

팬더 데이터 프레임은 순서가 지정된 열의 dict으로 구현됩니다.

이것은 __getitem__ []특정 열을 얻는 데 사용할 수있을뿐만 아니라__setitem__ [] = 데 사용될 수있을 새 열을 할당하는 데 사용될 수 있음을 의미합니다.

예를 들어,이 데이터 프레임에는 단순히 다음을 사용하여 열을 추가 할 수 있습니다. [] 접근

    size      name color
0    big      rose   red
1  small    violet  blue
2  small     tulip   red
3  small  harebell  blue

df['protected'] = ['no', 'no', 'no', 'yes']

    size      name color protected
0    big      rose   red        no
1  small    violet  blue        no
2  small     tulip   red        no
3  small  harebell  blue       yes

데이터 프레임의 인덱스가 꺼져 있어도 작동합니다.

df.index = [3,2,1,0]
df['protected'] = ['no', 'no', 'no', 'yes']
    size      name color protected
3    big      rose   red        no
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue       yes

[] =가는 길이지만 조심하십시오!

그러나 pd.Seriesa가 있고 인덱스가 꺼져있는 데이터 프레임에 할당하려고하면 문제가 발생합니다. 예를보십시오 :

df['protected'] = pd.Series(['no', 'no', 'no', 'yes'])
    size      name color protected
3    big      rose   red       yes
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue        no

pd.Series기본적으로 a 의 인덱스는 0에서 n까지 이기 때문 입니다. 그리고 팬더 [] =방법의 시도가 될 “스마트”

실제로 일어나고있는 것.

[] =방법 을 사용할 때 pandas는 왼쪽 데이터 프레임의 인덱스와 오른쪽 시리즈의 인덱스를 사용하여 외부 조인 또는 외부 병합을 조용히 수행합니다.df['column'] = series

사이드 노트

[]=방법은 입력에 따라 많은 다른 일을 시도하고 있기 때문에 팬더가 어떻게 작동하는지 알지 않는 한 결과를 예측할 수 없기 때문에인지 부조화가 빠르게 발생 합니다. 따라서 []=코드 기반 에 대한 조언을 하지만 노트북에서 데이터를 탐색 할 때 좋습니다.

문제를 해결

a가 pd.Series있고 위에서 아래로 할당되기를 원하거나 생산 코드를 코딩하고 색인 순서가 확실하지 않은 경우 이러한 종류의 문제를 보호하는 것이 좋습니다.

pd.Series를 a np.ndarray또는 a로 다운 캐스트 할 수 list있습니다.

df['protected'] = pd.Series(['no', 'no', 'no', 'yes']).values

또는

df['protected'] = list(pd.Series(['no', 'no', 'no', 'yes']))

그러나 이것은 분명하지 않습니다.

일부 코더가 와서 “이것은 중복 된 것 같습니다. 이것을 최적화하겠습니다”라고 말합니다.

명백한 방법

의 인덱스 설정 pd.Series의 인덱스가있을 수 있습니다 df명시 적입니다.

df['protected'] = pd.Series(['no', 'no', 'no', 'yes'], index=df.index)

또는 더 현실적으로, 당신은 아마 pd.Series이미 사용할 수 있습니다.

protected_series = pd.Series(['no', 'no', 'no', 'yes'])
protected_series.index = df.index

3     no
2     no
1     no
0    yes

이제 할당 가능

df['protected'] = protected_series

    size      name color protected
3    big      rose   red        no
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue       yes

와 다른 방법 df.reset_index()

인덱스 불협화음이 문제이기 때문에 데이터 프레임의 인덱스가 내용을 지시 해서는 안된다고 생각하면 인덱스를 삭제하면 더 빠를 수 있지만 함수는 아마도 두 가지 일을 하기 때문에 매우 깨끗 하지 않습니다.

df.reset_index(drop=True)
protected_series.reset_index(drop=True)
df['protected'] = protected_series

    size      name color protected
0    big      rose   red        no
1  small    violet  blue        no
2  small     tulip   red        no
3  small  harebell  blue       yes

에 참고 df.assign

동안 df.assign메이크업은, 실제로는 상기와 모두 같은 문제를 당신이 무엇을하고 있는지 더 명시가 그것을[]=

df.assign(protected=pd.Series(['no', 'no', 'no', 'yes']))
    size      name color protected
3    big      rose   red       yes
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue        no

df.assign당신의 칼럼이 호출되지 않는 것을 조심 하십시오 self. 오류가 발생합니다. 함수에 이러한 종류의 인공물 이 있기 때문에 df.assign 냄새 가납니다.

df.assign(self=pd.Series(['no', 'no', 'no', 'yes'])
TypeError: assign() got multiple values for keyword argument 'self'

당신은 “글쎄, 나는 self그때 사용하지 않을 것이다”라고 말할 수 있습니다 . 그러나 누가 새로운 기능을 지원하기 위해이 기능이 미래에 어떻게 변화하는지 알고 있습니다. 새 팬더 업데이트에서 열 이름이 인수가되어 업그레이드 문제가 발생할 수 있습니다.


답변

가장 쉬운 방법 :-

data['new_col'] = list_of_values

data.loc[ : , 'new_col'] = list_of_values

이렇게하면 팬더 객체에서 새 값을 설정할 때 체인 인덱싱이라는 것을 피할 수 있습니다. 자세한 내용을 보려면 여기를 클릭하십시오 .