[python] Pandas를 사용하여 데이터 프레임을 저장하는 방법

이미 몇 가지 답변이 있지만 Pandas DataFrames를 효율적 으로 직렬화하는 여러 가지 방법을 시도한 훌륭한 비교를 발견했습니다. 효율적으로 Pandas DataFrames 저장하십시오 .

그들은 다음을 비교합니다.

• 피클 : 원본 ASCII 데이터 형식
• cPickle, C 라이브러리
• pickle-p2 : 최신 이진 형식을 사용합니다
• json : standardlib json 라이브러리
• json-no-index : json과 비슷하지만 색인이 없습니다.
• msgpack : 바이너리 JSON 대안
• CSV
• hdfstore : HDF5 저장 형식

실험에서 그들은 개별적으로 테스트 된 두 개의 열 (하나는 텍스트 데이터, 다른 하나는 숫자)로 1,000,000 행의 DataFrame을 직렬화합니다. 그들의 면책 조항은 다음과 같이 말합니다.

다음 내용이 데이터를 일반화한다고 믿지 않아야합니다. 자신의 데이터를보고 벤치 마크를 직접 실행해야합니다.

그들이 참조하는 테스트의 소스 코드는 온라인에서 볼 수 있습니다 . 이 코드가 직접 작동하지 않았기 때문에 약간의 변경 사항을 만들었습니다. serialize.py
다음과 같은 결과를 얻었습니다.

또한 텍스트 데이터를 범주 형 데이터로 변환 하면 직렬화가 훨씬 빠릅니다. 테스트에서 약 10 배 정도 빠릅니다 (테스트 코드 참조).

편집 : CSV보다 피클에 더 많은 시간을 사용 된 데이터 형식으로 설명 할 수 있습니다. 기본적으로 pickle더 큰 데이터 세트를 생성하는 인쇄 가능한 ASCII 표현을 사용합니다. 그러나 그래프에서 볼 수 있듯이 최신 이진 데이터 형식 (버전 2, pickle-p2)을 사용하는 피클 은로드 시간이 훨씬 짧습니다.

다른 참고 문헌들 :

• CSV 파일을 읽는 Fastest Python 라이브러리 라는 질문 에는 다른 라이브러리를 비교하여 csv 파일을 읽는 벤치 마크와 비교 하는 매우 자세한 답변 이 있습니다. 결과적으로 CSV 파일을 읽는 numpy.fromfile것이 가장 빠릅니다.
• 또 다른 직렬화 테스트
  는 msgpack , ujson 및 cPickle이 직렬화에서 가장 빠른 것으로 나타 났습니다 .

답변

import pandas as pd
df.to_pickle('123.pkl')    #to save the dataframe, df to 123.pkl
df1 = pd.read_pickle('123.pkl') #to load 123.pkl back to the dataframe df

df.to_feather('filename.ft')

import pandas as pd

a = pd.DataFrame({'A':[0,1,0,1,0],'B':[True, True, False, False, False]})
print a
#    A      B
# 0  0   True
# 1  1   True
# 2  0  False
# 3  1  False
# 4  0  False

a.to_pickle('my_file.pkl')

b = pd.read_pickle('my_file.pkl')
print b
#    A      B
# 0  0   True
# 1  1   True
# 2  0  False
# 3  1  False
# 4  0  False