우리는 첫 번째 질문에 대답하는 것으로 시작합니다.

질문 1

왜 내가 ValueError: Index contains duplicate entries, cannot reshape

이는 팬더가 항목 columns또는 index항목이 중복 된 색인을 다시 작성하려고하기 때문에 발생 합니다. 피벗을 수행 할 수있는 다양한 방법이 있습니다. 그들 중 일부는 피벗을 요청받는 키가 중복되어있을 때 적합하지 않습니다. 예를 들어. 고려하십시오 pd.DataFrame.pivot. row및 col값 을 공유하는 중복 항목이 있음을 알고 있습니다 .

df.duplicated(['row', 'col']).any()

True

그래서 내가 pivot사용할 때

df.pivot(index='row', columns='col', values='val0')

위에서 언급 한 오류가 발생합니다. 사실, 동일한 작업을 수행하려고 할 때 동일한 오류가 발생합니다.

df.set_index(['row', 'col'])['val0'].unstack()

피봇하기 위해 사용할 수있는 숙어 목록은 다음과 같습니다.

1. pd.DataFrame.groupby + pd.DataFrame.unstack
   • 거의 모든 유형의 피벗을 수행하기위한 일반적인 방법
   • 한 그룹에서 피벗 된 행 수준 및 열 수준을 구성 할 모든 열을 지정합니다. 집계하려는 나머지 열과 집계를 수행하려는 함수를 선택하면됩니다. 마지막으로, unstack열 인덱스에 포함하려는 수준입니다.
2. pd.DataFrame.pivot_table
   • groupby보다 직관적 인 API 를 갖춘 영광스러운 버전입니다 . 많은 사람들에게 이것이 선호되는 접근법입니다. 그리고 개발자가 의도 한 접근 방식입니다.
   • 행 수준, 열 수준, 집계 할 값 및 집계를 수행 할 함수를 지정하십시오.
3. pd.DataFrame.set_index + pd.DataFrame.unstack
   • 일부 사용자에게는 편리하고 직관적입니다 (자체 포함). 중복 그룹화 된 키를 처리 할 수 ​​없습니다.
   • groupby패러다임과 마찬가지로 행 또는 열 수준이 될 모든 열을 지정하고 인덱스로 설정합니다. 그런 다음 unstack열에서 원하는 수준입니다. 나머지 인덱스 수준 또는 열 수준이 고유하지 않으면이 방법이 실패합니다.
4. pd.DataFrame.pivot
   • set_index중복 키 제한을 공유한다는 점 과 매우 유사합니다 . API도 매우 제한적입니다. index,, columns에 대한 스칼라 값만 사용합니다 values.
   • pivot_table피벗 할 행, 열 및 값을 선택한다는 점에서 비슷합니다 . 그러나 집계 할 수 없으며 행이나 열이 고유하지 않으면이 방법이 실패합니다.
5. pd.crosstab
   • 이 전문화 된 버전 pivot_table의 가장 순수한 형태는 여러 작업을 수행하는 가장 직관적 인 방법입니다.
6. pd.factorize + np.bincount
   • 이것은 매우 모호하지만 매우 빠른 고급 기술입니다. 모든 상황에서 사용할 수는 없지만 사용할 수 있고 편안하게 사용하면 성능 보상을 얻을 수 있습니다.
7. pd.get_dummies + pd.DataFrame.dot
   • 나는 교차 표를 똑똑하게 수행하기 위해 이것을 사용합니다.

예

각 후속 답변과 질문에 대해 내가 할 일은을 사용하여 답변하는 것 pd.DataFrame.pivot_table입니다. 그런 다음 동일한 작업을 수행 할 수있는 대안을 제공합니다.

질문 3

어떻게 선회 할 df있도록 col값이 열이며, row값은 지수의 평균이다 val0값이 있고, 누락 된 값은 0?

• pd.DataFrame.pivot_table

  • fill_value기본적으로 설정되어 있지 않습니다. 나는 그것을 적절하게 설정하는 경향이 있습니다. 이 경우에는로 설정했습니다 0. 질문 2가 생략 된이 답변과 동일하므로 질문 2 를 건너 뛰었 습니다.fill_value

  • aggfunc='mean'기본값이며 설정할 필요가 없습니다. 나는 그것을 명시 적으로 포함시켰다.

    df.pivot_table(
        values='val0', index='row', columns='col',
        fill_value=0, aggfunc='mean')
    
    col   col0   col1   col2   col3  col4
    row
    row0  0.77  0.605  0.000  0.860  0.65
    row2  0.13  0.000  0.395  0.500  0.25
    row3  0.00  0.310  0.000  0.545  0.00
    row4  0.00  0.100  0.395  0.760  0.24

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].mean().unstack(fill_value=0)

• pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc='mean').fillna(0)

질문 4

내가 아닌 다른받을 수 mean어쩌면 등을 sum?

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc='sum')
  
  col   col0  col1  col2  col3  col4
  row
  row0  0.77  1.21  0.00  0.86  0.65
  row2  0.13  0.00  0.79  0.50  0.50
  row3  0.00  0.31  0.00  1.09  0.00
  row4  0.00  0.10  0.79  1.52  0.24

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].sum().unstack(fill_value=0)

• pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc='sum').fillna(0)

질문 5

한 번에 하나 이상의 집계를 수행 할 수 있습니까?

에 대한 통지 pivot_table와 crosstab나는 callables의 목록을 통과해야했습니다. 반면에 groupby.agg제한된 수의 특수 기능을 위해 문자열을 사용할 수 있습니다. groupby.agg또한 다른 함수에 전달한 것과 동일한 콜 러블을 가져 왔지만 효율성을 얻을 수 있으므로 문자열 함수 이름을 활용하는 것이 더 효율적입니다.

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc=[np.size, np.mean])
  
       size                      mean
  col  col0 col1 col2 col3 col4  col0   col1   col2   col3  col4
  row
  row0    1    2    0    1    1  0.77  0.605  0.000  0.860  0.65
  row2    1    0    2    1    2  0.13  0.000  0.395  0.500  0.25
  row3    0    1    0    2    0  0.00  0.310  0.000  0.545  0.00
  row4    0    1    2    2    1  0.00  0.100  0.395  0.760  0.24

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].agg(['size', 'mean']).unstack(fill_value=0)

• pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc=[np.size, np.mean]).fillna(0, downcast='infer')

질문 6

여러 값 열을 집계 할 수 있습니까?

• pd.DataFrame.pivot_table우리는 통과 values=['val0', 'val1']하지만 우리는 그것을 완전히 떠날 수 있었다

  df.pivot_table(
      values=['val0', 'val1'], index='row', columns='col',
      fill_value=0, aggfunc='mean')
  
        val0                             val1
  col   col0   col1   col2   col3  col4  col0   col1  col2   col3  col4
  row
  row0  0.77  0.605  0.000  0.860  0.65  0.01  0.745  0.00  0.010  0.02
  row2  0.13  0.000  0.395  0.500  0.25  0.45  0.000  0.34  0.440  0.79
  row3  0.00  0.310  0.000  0.545  0.00  0.00  0.230  0.00  0.075  0.00
  row4  0.00  0.100  0.395  0.760  0.24  0.00  0.070  0.42  0.300  0.46

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0', 'val1'].mean().unstack(fill_value=0)

질문 7

여러 열로 세분 할 수 있습니까?

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns=['item', 'col'],
      fill_value=0, aggfunc='mean')
  
  item item0             item1                         item2
  col   col2  col3  col4  col0  col1  col2  col3  col4  col0   col1  col3  col4
  row
  row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.605  0.86  0.65
  row2  0.35  0.00  0.37  0.00  0.00  0.44  0.00  0.00  0.13  0.000  0.50  0.13
  row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.000  0.28  0.00
  row4  0.15  0.64  0.00  0.00  0.10  0.64  0.88  0.24  0.00  0.000  0.00  0.00

• pd.DataFrame.groupby

  df.groupby(
      ['row', 'item', 'col']
  )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)

질문 8

여러 열로 세분 할 수 있습니까?

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index=['key', 'row'], columns=['item', 'col'],
      fill_value=0, aggfunc='mean')
  
  item      item0             item1                         item2
  col        col2  col3  col4  col0  col1  col2  col3  col4  col0  col1  col3  col4
  key  row
  key0 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.86  0.00
       row2  0.00  0.00  0.37  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.50  0.00
       row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.00  0.00  0.00
       row4  0.15  0.64  0.00  0.00  0.00  0.00  0.00  0.24  0.00  0.00  0.00  0.00
  key1 row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.81  0.00  0.65
       row2  0.35  0.00  0.00  0.00  0.00  0.44  0.00  0.00  0.00  0.00  0.00  0.13
       row3  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.28  0.00
       row4  0.00  0.00  0.00  0.00  0.10  0.00  0.00  0.00  0.00  0.00  0.00  0.00
  key2 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.40  0.00  0.00
       row2  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.13  0.00  0.00  0.00
       row4  0.00  0.00  0.00  0.00  0.00  0.64  0.88  0.00  0.00  0.00  0.00  0.00

• pd.DataFrame.groupby

  df.groupby(
      ['key', 'row', 'item', 'col']
  )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)

• pd.DataFrame.set_index 키 세트가 행과 열 모두에 대해 고유하기 때문에

  df.set_index(
      ['key', 'row', 'item', 'col']
  )['val0'].unstack(['item', 'col']).fillna(0).sort_index(1)

질문 9

열과 행이 함께 발생하는 빈도를 일명 “교차 표”로 집계 할 수 있습니까?

• pd.DataFrame.pivot_table

  df.pivot_table(index='row', columns='col', fill_value=0, aggfunc='size')
  
      col   col0  col1  col2  col3  col4
  row
  row0     1     2     0     1     1
  row2     1     0     2     1     2
  row3     0     1     0     2     0
  row4     0     1     2     2     1

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].size().unstack(fill_value=0)

• pd.crosstab

  pd.crosstab(df['row'], df['col'])

• pd.factorize + np.bincount

  # get integer factorization `i` and unique values `r`
  # for column `'row'`
  i, r = pd.factorize(df['row'].values)
  # get integer factorization `j` and unique values `c`
  # for column `'col'`
  j, c = pd.factorize(df['col'].values)
  # `n` will be the number of rows
  # `m` will be the number of columns
  n, m = r.size, c.size
  # `i * m + j` is a clever way of counting the 
  # factorization bins assuming a flat array of length
  # `n * m`.  Which is why we subsequently reshape as `(n, m)`
  b = np.bincount(i * m + j, minlength=n * m).reshape(n, m)
  # BTW, whenever I read this, I think 'Bean, Rice, and Cheese'
  pd.DataFrame(b, r, c)
  
        col3  col2  col0  col1  col4
  row3     2     0     0     1     0
  row2     1     2     1     0     2
  row0     1     0     1     2     1
  row4     2     2     0     1     1

• pd.get_dummies

  pd.get_dummies(df['row']).T.dot(pd.get_dummies(df['col']))
  
        col0  col1  col2  col3  col4
  row0     1     2     0     1     1
  row2     1     0     2     1     2
  row3     0     1     0     2     0
  row4     0     1     2     2     1

질문 10

두 개의 열만 피벗하여 DataFrame을 long에서 wide로 변환하는 방법은 무엇입니까?

첫 번째 단계는 각 행에 숫자를 할당하는 것입니다.이 숫자는 피벗 된 결과에서 해당 값의 행 인덱스가됩니다. 이것은 다음을 사용하여 수행됩니다 GroupBy.cumcount.

df2.insert(0, 'count', df.groupby('A').cumcount())
df2

   count  A   B
0      0  a   0
1      1  a  11
2      2  a   2
3      3  a  11
4      0  b  10
5      1  b  10
6      2  b  14
7      0  c   7

두 번째 단계는 새로 만든 열을 호출 할 인덱스로 사용하는 것 DataFrame.pivot입니다.

df2.pivot(*df)
# df.pivot(index='count', columns='A', values='B')

A         a     b    c
count
0       0.0  10.0  7.0
1      11.0  10.0  NaN
2       2.0  14.0  NaN
3      11.0   NaN  NaN

질문 11

여러 인덱스를 단일 인덱스로 병합하는 방법 pivot

문자열 이있는 columns유형 인 경우objectjoin

df.columns = df.columns.map('|'.join)

그밖에 format

df.columns = df.columns.map('{0[0]}|{0[1]}'.format) 

답변

d = data = {'A': {0: 1, 1: 1, 2: 1, 3: 2, 4: 2, 5: 3, 6: 5},
 'B': {0: 'a', 1: 'b', 2: 'c', 3: 'a', 4: 'b', 5: 'a', 6: 'c'}}
df = pd.DataFrame(d)

   A  B
0  1  a
1  1  b
2  1  c
3  2  a
4  2  b
5  3  a
6  5  c

   0     1     2
A
1  a     b     c
2  a     b  None
3  a  None  None
5  c  None  None

t = df.groupby('A')['B'].apply(list)
out = pd.DataFrame(t.tolist(),index=t.index)
out
   0     1     2
A
1  a     b     c
2  a     b  None
3  a  None  None
5  c  None  None

t = df.pivot_table(index='A',values='B',aggfunc=list).squeeze()
out = pd.DataFrame(t.tolist(),index=t.index)