spark-csv를 사용하여 데이터를 DataFrame에로드합니다. 간단한 쿼리를 수행하고 내용을 표시하고 싶습니다.
val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()
열이 잘린 것 같습니다.
scala> results.show();
+--------------------+
| col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+
열의 전체 내용을 표시하려면 어떻게합니까?
답변
results.show(20, false)잘리지 않습니다. 소스 확인
답변
를 입력 results.show(false)하면 결과가 잘리지 않습니다
답변
다른 솔루션은 좋습니다. 이것이 당신의 목표라면 :
- 열 잘림 없음
- 행 손실이 없습니다.
- 빠르고
- 실력 있는
이 두 줄은 유용합니다 …
df.persist
df.show(df.count, false) // in Scala or 'False' in Python
지속함으로써, 실행기 내에서 중간 기본 데이터 프레임 구조를 사용 persist하거나 cache유지하기 위해 2 개의 실행기 동작 (카운트 및 표시)이 더 빠르고 효율적 입니다. 더 알아보기지속 및 캐시 .
답변
아래 코드는 각 열에서 잘리지 않고 모든 행을 보는 데 도움이됩니다.
df.show(df.count(), False)
답변
results.show(20, False)또는 results.show(20, false)
Java / Scala / Python에서 실행 중인지 여부에 따라
답변
results.show(false) 전체 열 내용이 표시됩니다.
기본적으로 메소드는 20으로 제한되며 앞에 숫자를 추가하면 false더 많은 행이 표시됩니다.
답변
이 명령을 시도하십시오 :
df.show(df.count())
