[python] 정규식으로 팬더의 행을 필터링하는 방법
열 중 하나에서 정규 표현식을 사용하여 데이터 프레임을 깨끗하게 필터링하고 싶습니다.
고안된 예 :
In [210]: foo = pd.DataFrame({'a' : [1,2,3,4], 'b' : ['hi', 'foo', 'fat', 'cat']})
In [211]: foo
Out[211]:
a b
0 1 hi
1 2 foo
2 3 fat
3 4 catf정규식 을 사용하여 시작하는 행을 필터링하고 싶습니다 . 먼저 가십시오 :
In [213]: foo.b.str.match('f.*')
Out[213]:
0 []
1 ()
2 ()
3 []그다지 유용하지 않습니다. 그러나 이것은 내 부울 인덱스를 얻습니다.
In [226]: foo.b.str.match('(f.*)').str.len() > 0
Out[226]:
0 False
1 True
2 True
3 False
Name: b그래서 나는 다음과 같이 제한을 할 수 있습니다.
In [229]: foo[foo.b.str.match('(f.*)').str.len() > 0]
Out[229]:
a b
1 2 foo
2 3 fat그래도 인위적으로 정규식에 그룹을 넣을 수 있으며 깨끗한 방법이 아닌 것 같습니다. 더 좋은 방법이 있습니까?
답변
사용은 포함 대신 :
In [10]: df.b.str.contains('^f')
Out[10]:
0 False
1 True
2 True
3 False
Name: b, dtype: bool답변
문자열 처리 기능이 이미 있습니다 Series.str.startswith(). 당신은 시도해야합니다 foo[foo.b.str.startswith('f')].
결과:
a b
1 2 foo
2 3 fat나는 당신이 기대하는 것을 생각합니다.
또는 regex 옵션과 함께 contains를 사용할 수 있습니다. 예를 들면 다음과 같습니다.
foo[foo.b.str.contains('oo', regex= True, na=False)]결과:
a b
1 2 foona=False nan, null 등의 값이있는 경우 오류를 방지하는 것입니다.
답변
데이터 프레임을 사용한 다중 열 검색 :
frame[frame.filename.str.match('*.'+MetaData+'.*') & frame.file_path.str.match('C:\test\test.txt')]답변
약간 늦을 수도 있지만, 이제 Pandas에서 수행하기가 더 쉽습니다. as_indexer=True부울 결과를 얻기 위해 일치를 호출 할 수 있습니다 . 이것은 (차이와 함께 설명되어 있습니다 match와 contains) 여기 .
답변
@ user3136169의 훌륭한 답변에 감사드립니다. NoneType 값을 제거하는 방법에 대한 예입니다.
def regex_filter(val):
if val:
mo = re.search(regex,val)
if mo:
return True
else:
return False
else:
return False
df_filtered = df[df['col'].apply(regex_filter)]또한 정규식을 인수로 추가 할 수도 있습니다.
def regex_filter(val,myregex):
...
df_filtered = df[df['col'].apply(res_regex_filter,regex=myregex)]답변
정규 표현식을 확인하고 열에 적용하는 부울 함수를 작성하십시오.
foo[foo['b'].apply(regex_function)]답변
str 슬라이스 사용
foo[foo.b.str[0]=='f']
Out[18]:
a b
1 2 foo
2 3 fat