팬더 배경에서 왔으며 CSV 파일의 데이터를 데이터 프레임으로 읽은 다음 간단한 명령을 사용하여 열 이름을 유용한 것으로 변경하는 데 익숙합니다.
df.columns = new_column_name_list그러나 sqlContext를 사용하여 생성 된 pyspark 데이터 프레임에서도 동일하게 작동하지 않습니다. 이 작업을 쉽게 수행 할 수있는 유일한 해결책은 다음과 같습니다.
df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', inferschema='true', delimiter='\t').load("data.txt")
oldSchema = df.schema
for i,k in enumerate(oldSchema.fields):
k.name = new_column_name_list[i]
df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', delimiter='\t').load("data.txt", schema=oldSchema)
기본적으로 변수를 두 번 정의하고 스키마를 먼저 유추 한 다음 열 이름을 바꾸고 업데이트 된 스키마로 데이터 프레임을 다시로드합니다.
우리가 판다에서하는 것처럼 더 좋고 효율적인 방법이 있습니까?
내 스파크 버전은 1.5.0입니다
답변
여러 가지 방법이 있습니다.
-
옵션 1. 사용 selectExpr을 .
data = sqlContext.createDataFrame([("Alberto", 2), ("Dakota", 2)], ["Name", "askdaosdka"]) data.show() data.printSchema() # Output #+-------+----------+ #| Name|askdaosdka| #+-------+----------+ #|Alberto| 2| #| Dakota| 2| #+-------+----------+ #root # |-- Name: string (nullable = true) # |-- askdaosdka: long (nullable = true) df = data.selectExpr("Name as name", "askdaosdka as age") df.show() df.printSchema() # Output #+-------+---+ #| name|age| #+-------+---+ #|Alberto| 2| #| Dakota| 2| #+-------+---+ #root # |-- name: string (nullable = true) # |-- age: long (nullable = true) -
옵션 2. withColumnRenamed를 사용하면 이 방법으로 같은 열을 “덮어 쓸 수 있습니다”. Python3를 들어, 교체
xrange와 함께range.from functools import reduce oldColumns = data.schema.names newColumns = ["name", "age"] df = reduce(lambda data, idx: data.withColumnRenamed(oldColumns[idx], newColumns[idx]), xrange(len(oldColumns)), data) df.printSchema() df.show() -
사용 옵션 3.
별명은 스칼라에서 당신은 또한 사용할 수 있습니다 로 .from pyspark.sql.functions import col data = data.select(col("Name").alias("name"), col("askdaosdka").alias("age")) data.show() # Output #+-------+---+ #| name|age| #+-------+---+ #|Alberto| 2| #| Dakota| 2| #+-------+---+ -
옵션 4. sqlContext.sql 사용
DataFrames: 테이블로 등록 된 SQL 쿼리를 사용할 수 있습니다 .sqlContext.registerDataFrameAsTable(data, "myTable") df2 = sqlContext.sql("SELECT Name AS name, askdaosdka as age from myTable") df2.show() # Output #+-------+---+ #| name|age| #+-------+---+ #|Alberto| 2| #| Dakota| 2| #+-------+---+
답변
df = df.withColumnRenamed("colName", "newColName")\
.withColumnRenamed("colName2", "newColName2")
이 방법을 사용할 때의 장점 : 열 목록이 길면 몇 개의 열 이름 만 변경하려고합니다. 이 시나리오에서는 매우 편리 할 수 있습니다. 중복 열 이름을 가진 테이블을 조인 할 때 매우 유용합니다.
답변
모든 열 이름을 변경하려면 시도하십시오 df.toDF(*cols)
답변
모든 열 이름에 간단한 변환을 적용하려는 경우이 코드는 트릭을 수행합니다. (모든 공백을 밑줄로 바꿉니다)
new_column_name_list= list(map(lambda x: x.replace(" ", "_"), df.columns))
df = df.toDF(*new_column_name_list)toDf트릭을 위한 @ user8117731에게 감사합니다 .
답변
단일 열의 이름을 바꾸고 나머지 열을 그대로 유지하려면 다음을 수행하십시오.
from pyspark.sql.functions import col
new_df = old_df.select(*[col(s).alias(new_name) if s == column_to_change else s for s in old_df.columns])답변
df.withColumnRenamed('age', 'age2')
답변
이것이 내가 사용한 접근법입니다.
pyspark 세션을 작성하십시오.
import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('changeColNames').getOrCreate()데이터 프레임 생성 :
df = spark.createDataFrame(data = [('Bob', 5.62,'juice'), ('Sue',0.85,'milk')], schema = ["Name", "Amount","Item"])열 이름으로 df보기 :
df.show()
+----+------+-----+
|Name|Amount| Item|
+----+------+-----+
| Bob| 5.62|juice|
| Sue| 0.85| milk|
+----+------+-----+새로운 열 이름으로 목록을 작성하십시오.
newcolnames = ['NameNew','AmountNew','ItemNew']df의 열 이름을 변경하십시오.
for c,n in zip(df.columns,newcolnames):
df=df.withColumnRenamed(c,n)새로운 열 이름으로 df보기 :
df.show()
+-------+---------+-------+
|NameNew|AmountNew|ItemNew|
+-------+---------+-------+
| Bob| 5.62| juice|
| Sue| 0.85| milk|
+-------+---------+-------+