[python] Python에서 numpy ndarray의 비 NaN 요소 수 계산

Program / 글쓴이

numpy ndarray 행렬에서 NaN이 아닌 요소의 수를 계산해야합니다. 파이썬에서 이것을 어떻게 효율적으로 할 수 있습니까? 이를 달성하기위한 간단한 코드는 다음과 같습니다.

import numpy as np

def numberOfNonNans(data):
    count = 0
    for i in data:
        if not np.isnan(i):
            count += 1
    return count

numpy에 내장 기능이 있습니까? 빅 데이터 분석을하고 있기 때문에 효율성이 중요합니다.

도움이 필요하면 Thnx!

답변

np.count_nonzero(~np.isnan(data))

~에서 반환 된 부울 행렬을 반전합니다 np.isnan.

np.count_nonzero0 \ false가 아닌 값을 계산합니다. .sum동일한 결과를 제공해야합니다. 하지만 더 명확하게 사용할 수 있습니다.count_nonzero

테스트 속도 : 

In [23]: data = np.random.random((10000,10000))

In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan

In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop

In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop

In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop

data.size - np.count_nonzero(np.isnan(data))여기서는 간신히 가장 빠른 것 같습니다. 다른 데이터는 다른 상대 속도 결과를 제공 할 수 있습니다.

답변

빠른 쓰기 대안

가장 빠른 선택은 아니지만 성능이 문제가되지 않는 경우 다음을 사용할 수 있습니다.

sum(~np.isnan(data)).

공연:

In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop

In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop

In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop

답변

배열이 희소인지 확인하려면 nan 값의 비율을 얻는 것이 도움이 될 수 있습니다.

np.isnan(ndarr).sum() / ndarr.size

해당 비율이 임계 값을 초과하는 경우 희소 배열을 사용합니다 (예 : https://sparse.pydata.org/en/latest/).

답변

대안이지만 약간 느린 대안은 인덱싱을 통해 수행하는 것입니다.

np.isnan(data)[np.isnan(data) == False].size

In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size
1 loops, best of 3: 498 ms per loop

np.isnan(data)과 ==연산자 의 이중 사용은 약간 과잉 일 수 있으므로 완전성을 위해 답변을 게시했습니다.

답변