[r] data.table에 키를 설정하는 목적은 무엇입니까?

마이너 업데이트 : 새 HTML 비 네트 도 참조하십시오 . 이 문제 는 우리가 계획하고있는 다른 비 네트를 강조합니다.

ad-hoc 조인도 on=허용 하는 새로운 기능을 고려 하여이 답변을 다시 업데이트했습니다 (2016 년 2 월) . 이전 (오래된) 답변에 대한 기록을 참조하십시오.

정확히 무엇을 setkey(DT, a, b)합니까?

두 가지 작업을 수행합니다.

1. 재 배열의 행 data.table를 DT 제공하는 컬럼 (들) (기준 , B ) 를 참조하여 항상에서 증가하는 순서.
2. 라는 속성을 설정하여 해당 열을 키 열로 표시 sorted합니다 DT.

재정렬은 빠르고 ( data.table 의 내부 기수 정렬 로 인해 ) 메모리 효율적입니다 ( double 유형의 추가 열 하나만 할당 됨).

언제 setkey()필요합니까?

그룹화 작업의 setkey()경우 절대 요구 사항이 아닙니다. 즉, 우리는 cold-by 또는 adhoc-by를 수행 할 수 있습니다 .

## "cold" by
require(data.table)
DT <- data.table(x=rep(1:5, each=2), y=1:10)
DT[, mean(y), by=x] # no key is set, order of groups preserved in result

그러나 이전에는 v1.9.6에서 설정 x[i]해야하는 양식의 조인이 필요 key했습니다 x. v1.9.6 + 의 새로운 on=인수를 사용하면 더 이상 사실이 아니며 키 설정도 여기서 절대적인 요구 사항이 아닙니다 .

## joins using < v1.9.6 
setkey(X, a) # absolutely required
setkey(Y, a) # not absolutely required as long as 'a' is the first column
X[Y]

## joins using v1.9.6+
X[Y, on="a"]
# or if the column names are x_a and y_a respectively
X[Y, on=c("x_a" = "y_a")]

참고 on=인수가 명시 적으로도 지정할 수 있습니다 keyed뿐만 아니라 조인.

key절대적으로 설정 해야하는 유일한 작업 은 foverlaps () 함수입니다. 그러나 우리는 완료되면이 요구 사항을 제거 할 더 많은 기능을 작업하고 있습니다.

• 그렇다면 on=논쟁 을 구현하는 이유는 무엇 입니까?

  몇 가지 이유가 있습니다.

  1. 두 개의 data.tables를 포함하는 작업으로 작업을 명확하게 구분할 수 있습니다 . X[Y]변수의 이름을 적절하게 지정하면 명확해질 수 있지만 그렇게하는 것만으로는 이를 구분할 수 없습니다.

  2. 또한 해당 코드 줄을보고 해당 줄로 추적 할 필요없이 조인 / 하위 집합 이 즉시 수행 되는 열을 이해할 수 있습니다 setkey().

  3. 열이 참조 에 의해 추가되거나 업데이트 되는 작업에서는 열 on=을 추가 / 업데이트하기 위해 전체 data.table을 재정렬 할 필요가 없기 때문에 작업이 훨씬 더 성능이 좋습니다. 예를 들면

     ## compare 
     setkey(X, a, b) # why physically reorder X to just add/update a column?
     X[Y, col := i.val]
     
     ## to
     X[Y, col := i.val, on=c("a", "b")]

     두 번째 경우에는 다시 주문할 필요가 없습니다. 시간이 많이 걸리는 순서를 계산하는 것이 아니라 물리적으로 RAM에서 data.table의 순서를 변경하고이를 피함으로써 원래 순서를 유지하며 성능도 뛰어납니다.

  4. 당신이있는 거 성능이 반복적으로 결합하지 않는 한해도 그렇지,하는 사이에 띄는 성능 차이가 없을 것 키 입력 및 임시 합류했다.

이것은 data.table 을 키잉하면 더 이상 어떤 이점이 있습니까?

• data.table 키를 지정하면 이점이 있습니까?

  data.table에 키를 지정하면 RAM의 해당 열을 기반으로 물리적으로 재정렬됩니다. 주문을 계산하는 것은 일반적으로 시간이 많이 걸리는 부분이 아니라 재정렬 자체입니다. 그러나 데이터를 RAM에서 정렬하면 동일한 그룹에 속하는 행이 모두 RAM에서 연속적이기 때문에 캐시 효율성이 매우 높습니다. 키가 지정된 데이터에 대한 작업 속도를 높이는 것은 정렬입니다.

  따라서 전체 data.table을 재정렬하는 데 소요 된 시간이 캐시 효율적인 조인 / 집계를 수행하는 데 소요되는 시간이 가치가 있는지 파악하는 것이 중요합니다. 일반적으로 동일한 키가 지정된 data.table 에 대해 반복적 인 그룹화 / 조인 작업이 수행 되지 않는 한 눈에 띄는 차이가 없어야합니다.

따라서 대부분의 경우 더 이상 키를 설정할 필요가 없습니다. on=키 설정으로 인해 악용하려는 성능이 크게 향상되지 않는 한 가능하면 사용하는 것이 좋습니다 .

질문 : 당신이에 비해 같은 성능 것 어떻게 생각하십니까 키가 당신이 사용하는 경우, 가입 setorder()(가) 순서를 data.table 사용 on=? 지금까지 따랐다면 알아낼 수있을 것입니다 :-).

답변

setkey(ZIP,zipcode)
setkey(PPL,zipcode)
full.info <- PPL[ZIP, nomatch=F]