numpy ndarray 행렬에서 NaN이 아닌 요소의 수를 계산해야합니다. 파이썬에서 이것을 어떻게 효율적으로 할 수 있습니까? 이를 달성하기위한 간단한 코드는 다음과 같습니다.
import numpy as np
def numberOfNonNans(data):
count = 0
for i in data:
if not np.isnan(i):
count += 1
return count
numpy에 내장 기능이 있습니까? 빅 데이터 분석을하고 있기 때문에 효율성이 중요합니다.
도움이 필요하면 Thnx!
답변
np.count_nonzero(~np.isnan(data))
~
에서 반환 된 부울 행렬을 반전합니다 np.isnan
.
np.count_nonzero
0 \ false가 아닌 값을 계산합니다. .sum
동일한 결과를 제공해야합니다. 하지만 더 명확하게 사용할 수 있습니다.count_nonzero
테스트 속도 :
In [23]: data = np.random.random((10000,10000))
In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan
In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop
In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop
In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop
data.size - np.count_nonzero(np.isnan(data))
여기서는 간신히 가장 빠른 것 같습니다. 다른 데이터는 다른 상대 속도 결과를 제공 할 수 있습니다.
답변
빠른 쓰기 대안
가장 빠른 선택은 아니지만 성능이 문제가되지 않는 경우 다음을 사용할 수 있습니다.
sum(~np.isnan(data))
.
공연:
In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop
In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop
In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop
답변
배열이 희소인지 확인하려면 nan 값의 비율을 얻는 것이 도움이 될 수 있습니다.
np.isnan(ndarr).sum() / ndarr.size
해당 비율이 임계 값을 초과하는 경우 희소 배열을 사용합니다 (예 : https://sparse.pydata.org/en/latest/).
답변
대안이지만 약간 느린 대안은 인덱싱을 통해 수행하는 것입니다.
np.isnan(data)[np.isnan(data) == False].size
In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size
1 loops, best of 3: 498 ms per loop
np.isnan(data)
과 ==
연산자 의 이중 사용은 약간 과잉 일 수 있으므로 완전성을 위해 답변을 게시했습니다.