공통으로 일부 행이있는 두 개의 팬더 데이터 프레임이 있습니다.
dataframe2가 dataframe1의 서브 세트라고 가정하십시오.
dataframe2에없는 dataframe1의 행을 어떻게 얻을 수 있습니까?
df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, 13, 14]})
df2 = pandas.DataFrame(data = {'col1' : [1, 2, 3], 'col2' : [10, 11, 12]})
답변
하나의 방법은 내부 병합 양식의 결과를 두 df로 저장하는 것입니다. 그런 다음 하나의 열 값이이 공통 값이 아닌 경우 간단히 행을 선택할 수 있습니다.
In [119]:
common = df1.merge(df2,on=['col1','col2'])
print(common)
df1[(~df1.col1.isin(common.col1))&(~df1.col2.isin(common.col2))]
col1 col2
0 1 10
1 2 11
2 3 12
Out[119]:
col1 col2
3 4 13
4 5 14
편집하다
당신이 찾은 또 다른 방법은 사용할 수 isin있는 NaN행을 생성하는 것입니다 .
In [138]:
df1[~df1.isin(df2)].dropna()
Out[138]:
col1 col2
3 4 13
4 5 14
그러나 df2가 같은 방식으로 행을 시작하지 않으면 작동하지 않습니다.
df2 = pd.DataFrame(data = {'col1' : [2, 3,4], 'col2' : [11, 12,13]})전체 df를 생성합니다.
In [140]:
df1[~df1.isin(df2)].dropna()
Out[140]:
col1 col2
0 1 10
1 2 11
2 3 12
3 4 13
4 5 14
답변
현재 선택된 솔루션이 잘못된 결과를 생성합니다. 제대로이 문제를 해결하기 위해, 우리는이에서 왼쪽 조인을 수행 할 수 있습니다 df1에 df2처음만을위한 고유 행을 얻을 수 있는지에있어 df2.
먼저, 데이터가있는 행을 추가하기 위해 원본 DataFrame을 수정해야합니다 [3, 10].
df1 = pd.DataFrame(data = {'col1' : [1, 2, 3, 4, 5, 3],
'col2' : [10, 11, 12, 13, 14, 10]})
df2 = pd.DataFrame(data = {'col1' : [1, 2, 3],
'col2' : [10, 11, 12]})
df1
col1 col2
0 1 10
1 2 11
2 3 12
3 4 13
4 5 14
5 3 10
df2
col1 col2
0 1 10
1 2 11
2 3 12왼쪽 조인을 수행하여 df2각 행이 df1정확히 1 행의 조인 되도록 중복을 제거하십시오 df2. 매개 변수 indicator를 사용하여 행이 어느 테이블에 있는지를 나타내는 추가 열을 리턴 하십시오 .
df_all = df1.merge(df2.drop_duplicates(), on=['col1','col2'],
how='left', indicator=True)
df_all
col1 col2 _merge
0 1 10 both
1 2 11 both
2 3 12 both
3 4 13 left_only
4 5 14 left_only
5 3 10 left_only부울 조건을 만듭니다.
df_all['_merge'] == 'left_only'
0 False
1 False
2 False
3 True
4 True
5 True
Name: _merge, dtype: bool다른 솔루션이 잘못된 이유
일부 솔루션은 동일한 실수를합니다. 각 값이 동일한 행이 아니라 각 열에 독립적으로 있는지 확인합니다. 고유하지만 두 열의 값이있는 마지막 행을 추가하면 df2실수 가 노출됩니다.
common = df1.merge(df2,on=['col1','col2'])
(~df1.col1.isin(common.col1))&(~df1.col2.isin(common.col2))
0 False
1 False
2 False
3 True
4 True
5 False
dtype: bool이 솔루션은 동일한 잘못된 결과를 얻습니다.
df1.isin(df2.to_dict('l')).all(1)답변
인덱스가 데이터 프레임에서 일관성이 있다고 가정하면 (실제 col 값을 고려하지 않음) :
df1[~df1.index.isin(df2.index)]답변
이미 암시 한 것처럼 isin은 일치하는 열과 인덱스가 동일해야합니다. match가 행 내용에만 있어야하는 경우 행을 필터링하기위한 마스크를 얻는 한 가지 방법은 행을 (Multi) Index로 변환하는 것입니다.
In [77]: df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5, 3], 'col2' : [10, 11, 12, 13, 14, 10]})
In [78]: df2 = pandas.DataFrame(data = {'col1' : [1, 3, 4], 'col2' : [10, 12, 13]})
In [79]: df1.loc[~df1.set_index(list(df1.columns)).index.isin(df2.set_index(list(df2.columns)).index)]
Out[79]:
col1 col2
1 2 11
4 5 14
5 3 10인덱스를 고려해야하는 경우 set_index에는 키워드 인수가 추가되어 기존 인덱스에 열을 추가합니다. 열이 정렬되지 않으면 list (df.columns)를 열 사양으로 바꾸어 데이터를 정렬 할 수 있습니다.
pandas.MultiIndex.from_tuples(df<N>.to_records(index = False).tolist())대안으로 인덱스를 만드는 데 사용될 수는 있지만 이것이 더 효율적이라고는 생각하지 않습니다.
답변
여러 필드 (column_names)가있는 df_1 및 df_2 데이터 프레임이 있고 df_2에서 일부 필드 (예 : fields_x, fields_y)를 기준으로 df_2에없는 항목 만 찾으려고한다면 다음 단계를 따르십시오.
1 단계. 열 키 1과 키 2를 각각 df_1과 df_2에 추가합니다.
2 단계. 아래와 같이 데이터 프레임을 병합합니다. field_x 및 field_y는 원하는 열입니다.
df_1에서 key1이 key2와 같지 않은 행만 선택하십시오.
4 단계. 키 1과 키 2를 삭제합니다.
이 방법은 문제를 해결하고 빅 데이터 세트에서도 빠르게 작동합니다. 1,000,000 개가 넘는 행이있는 데이터 프레임에 대해 시도했습니다.
df_1['key1'] = 1
df_2['key2'] = 1
df_1 = pd.merge(df_1, df_2, on=['field_x', 'field_y'], how = 'left')
df_1 = df_1[~(df_1.key2 == df_1.key1)]
df_1 = df_1.drop(['key1','key2'], axis=1)답변
조금 늦었지만 pd.merge의 “indicator”매개 변수를 확인하는 것이 좋습니다.
예를 들어이 다른 질문을 참조하십시오 : PandaS DataFrames를 비교하고 첫 번째 행에서 누락 된 행을 반환하십시오 .
답변
isin (dict) 메소드를 사용하여 수행 할 수 있습니다 .
In [74]: df1[~df1.isin(df2.to_dict('l')).all(1)]
Out[74]:
col1 col2
3 4 13
4 5 14설명:
In [75]: df2.to_dict('l')
Out[75]: {'col1': [1, 2, 3], 'col2': [10, 11, 12]}
In [76]: df1.isin(df2.to_dict('l'))
Out[76]:
col1 col2
0 True True
1 True True
2 True True
3 False False
4 False False
In [77]: df1.isin(df2.to_dict('l')).all(1)
Out[77]:
0 True
1 True
2 True
3 False
4 False
dtype: bool