[r] data.frame에서 전부 또는 일부 NA (결 측값)가있는 행 제거
이 데이터 프레임에서 다음과 같은 행을 제거하고 싶습니다.
a) 모든 열에을 포함합니다 NA. 아래는 내 예제 데이터 프레임입니다.
gene hsap mmul mmus rnor cfam
1 ENSG00000208234 0 NA NA NA NA
2 ENSG00000199674 0 2 2 2 2
3 ENSG00000221622 0 NA NA NA NA
4 ENSG00000207604 0 NA NA 1 2
5 ENSG00000207431 0 NA NA NA NA
6 ENSG00000221312 0 1 2 3 2기본적으로 다음과 같은 데이터 프레임을 얻고 싶습니다.
gene hsap mmul mmus rnor cfam
2 ENSG00000199674 0 2 2 2 2
6 ENSG00000221312 0 1 2 3 2b) 일부 열에 만을 포함 NA하므로이 결과를 얻을 수도 있습니다.
gene hsap mmul mmus rnor cfam
2 ENSG00000199674 0 2 2 2 2
4 ENSG00000207604 0 NA NA 1 2
6 ENSG00000221312 0 1 2 3 2답변
또한 확인 complete.cases:
> final[complete.cases(final), ]
gene hsap mmul mmus rnor cfam
2 ENSG00000199674 0 2 2 2 2
6 ENSG00000221312 0 1 2 3 2na.omit를 모두 제거하는 것이 NA좋습니다. complete.cases데이터 프레임의 특정 열만 포함하여 부분 선택을 허용합니다.
> final[complete.cases(final[ , 5:6]),]
gene hsap mmul mmus rnor cfam
2 ENSG00000199674 0 2 2 2 2
4 ENSG00000207604 0 NA NA 1 2
6 ENSG00000221312 0 1 2 3 2솔루션이 작동하지 않습니다. 를 사용한다고 주장하면 is.na다음과 같은 작업을 수행해야합니다.
> final[rowSums(is.na(final[ , 5:6])) == 0, ]
gene hsap mmul mmus rnor cfam
2 ENSG00000199674 0 2 2 2 2
4 ENSG00000207604 0 NA NA 1 2
6 ENSG00000221312 0 1 2 3 2사용하는 complete.cases것이 훨씬 더 명확하고 빠릅니다.
답변
시도하십시오 na.omit(your.data.frame). 두 번째 질문은 명확성을 위해 다른 질문으로 게시하십시오.
답변
tidyr새로운 기능이 있습니다 drop_na:
library(tidyr)
df %>% drop_na()
# gene hsap mmul mmus rnor cfam
# 2 ENSG00000199674 0 2 2 2 2
# 6 ENSG00000221312 0 1 2 3 2
df %>% drop_na(rnor, cfam)
# gene hsap mmul mmus rnor cfam
# 2 ENSG00000199674 0 2 2 2 2
# 4 ENSG00000207604 0 NA NA 1 2
# 6 ENSG00000221312 0 1 2 3 2답변
행에 NA가 포함되어 있는지 확인하는 다음 방법을 선호합니다.
row.has.na <- apply(final, 1, function(x){any(is.na(x))})행에 NA가 있는지 여부를 나타내는 값을 가진 논리 형 벡터를 반환합니다. 이를 사용하여 삭제해야하는 행 수를 확인할 수 있습니다.
sum(row.has.na)결국에는 떨어 뜨려
final.filtered <- final[!row.has.na,]NA의 특정 부분으로 행을 필터링하는 경우 조금 까다로워집니다 (예 : ‘final [, 5 : 6]’을 ‘적용’에 공급할 수 있음). 일반적으로 Joris Meys의 솔루션은 더 우아해 보입니다.
답변
행이 유효하지 않은 것으로 간주되는 방법을 더 잘 제어하려는 경우 다른 옵션은
final <- final[!(is.na(final$rnor)) | !(is.na(rawdata$cfam)),]위의 내용을 사용하면 다음과 같습니다.
gene hsap mmul mmus rnor cfam
1 ENSG00000208234 0 NA NA NA 2
2 ENSG00000199674 0 2 2 2 2
3 ENSG00000221622 0 NA NA 2 NA
4 ENSG00000207604 0 NA NA 1 2
5 ENSG00000207431 0 NA NA NA NA
6 ENSG00000221312 0 1 2 3 2된다 :
gene hsap mmul mmus rnor cfam
1 ENSG00000208234 0 NA NA NA 2
2 ENSG00000199674 0 2 2 2 2
3 ENSG00000221622 0 NA NA 2 NA
4 ENSG00000207604 0 NA NA 1 2
6 ENSG00000221312 0 1 2 3 2… 5 행만 제거되고 rnorAND 모두에 대해 NA를 포함하는 유일한 행이므로 제거됩니다 cfam. 그런 다음 부울 논리를 특정 요구 사항에 맞게 변경할 수 있습니다.
답변
각 행에 유효한 NA 수를 제어하려면이 기능을 사용해보십시오. 많은 설문 조사 데이터 세트의 경우 너무 많은 빈 질문 응답이 결과를 망칠 수 있습니다. 따라서 특정 임계 값 후에 삭제됩니다. 이 기능을 사용하면 행이 삭제되기 전에 보유 할 수있는 NA 수를 선택할 수 있습니다.
delete.na <- function(DF, n=0) {
DF[rowSums(is.na(DF)) <= n,]
}기본적으로 모든 NA가 제거됩니다.
delete.na(final)
gene hsap mmul mmus rnor cfam
2 ENSG00000199674 0 2 2 2 2
6 ENSG00000221312 0 1 2 3 2또는 허용되는 최대 NA 수를 지정하십시오.
delete.na(final, 2)
gene hsap mmul mmus rnor cfam
2 ENSG00000199674 0 2 2 2 2
4 ENSG00000207604 0 NA NA 1 2
6 ENSG00000221312 0 1 2 3 2답변
성능이 우선 순위 인 경우 data.table및 na.omit()옵션 param 과 함께 사용하십시오 cols=.
na.omit.data.table 모든 열 또는 선택 열에 대해 내 벤치 마크에서 가장 빠릅니다 (아래 참조) (OP 질문 파트 2).
을 사용하지 않으려면을 data.table사용하십시오 complete.cases().
바닐라 data.frame에서는 또는 complete.cases보다 빠릅니다 . 공지 사항 을 지원하지 않습니다 .na.omit()dplyr::drop_na()na.omit.data.framecols=
벤치 마크 결과
다음은 독립적 인 5 %의 누락 가능성이있는 20 개의 숫자 변수에 대한 백만 개의 관측치에 대한 명목 데이터 세트에서 누락 된 관측치를 모두 제거하거나 누락 된 관측치를 선택 하는 기본 (파란색), dplyr(분홍색) 및 data.table(노란색) 방법과 파트 2에 대한 4 개의 변수 서브 세트
결과는 특정 데이터 집합의 길이, 너비 및 희소성에 따라 달라질 수 있습니다.
y 축의 로그 스케일을 기록하십시오.
벤치 마크 스크립트
#------- Adjust these assumptions for your own use case ------------
row_size <- 1e6L
col_size <- 20 # not including ID column
p_missing <- 0.05 # likelihood of missing observation (except ID col)
col_subset <- 18:21 # second part of question: filter on select columns
#------- System info for benchmark ----------------------------------
R.version # R version 3.4.3 (2017-11-30), platform = x86_64-w64-mingw32
library(data.table); packageVersion('data.table') # 1.10.4.3
library(dplyr); packageVersion('dplyr') # 0.7.4
library(tidyr); packageVersion('tidyr') # 0.8.0
library(microbenchmark)
#------- Example dataset using above assumptions --------------------
fakeData <- function(m, n, p){
set.seed(123)
m <- matrix(runif(m*n), nrow=m, ncol=n)
m[m<p] <- NA
return(m)
}
df <- cbind( data.frame(id = paste0('ID',seq(row_size)),
stringsAsFactors = FALSE),
data.frame(fakeData(row_size, col_size, p_missing) )
)
dt <- data.table(df)
par(las=3, mfcol=c(1,2), mar=c(22,4,1,1)+0.1)
boxplot(
microbenchmark(
df[complete.cases(df), ],
na.omit(df),
df %>% drop_na,
dt[complete.cases(dt), ],
na.omit(dt)
), xlab='',
main = 'Performance: Drop any NA observation',
col=c(rep('lightblue',2),'salmon',rep('beige',2))
)
boxplot(
microbenchmark(
df[complete.cases(df[,col_subset]), ],
#na.omit(df), # col subset not supported in na.omit.data.frame
df %>% drop_na(col_subset),
dt[complete.cases(dt[,col_subset,with=FALSE]), ],
na.omit(dt, cols=col_subset) # see ?na.omit.data.table
), xlab='',
main = 'Performance: Drop NA obs. in select cols',
col=c('lightblue','salmon',rep('beige',2))
)