[python] scipy / numpy로 파이썬에서 데이터 비닝

Program / 글쓴이

미리 지정된 빈에서 배열의 평균을 얻는 더 효율적인 방법이 있습니까? 예를 들어, 숫자 배열과 해당 배열의 빈 시작 및 끝 위치에 해당하는 배열이 있는데 그 빈에서 평균을 취하고 싶습니까? 아래에 코드가 있지만 어떻게 잘라 내고 개선 할 수 있는지 궁금합니다. 감사.

from scipy import *
from numpy import *

def get_bin_mean(a, b_start, b_end):
    ind_upper = nonzero(a >= b_start)[0]
    a_upper = a[ind_upper]
    a_range = a_upper[nonzero(a_upper < b_end)[0]]
    mean_val = mean(a_range)
    return mean_val


data = rand(100)
bins = linspace(0, 1, 10)
binned_data = []

n = 0
for n in range(0, len(bins)-1):
    b_start = bins[n]
    b_end = bins[n+1]
    binned_data.append(get_bin_mean(data, b_start, b_end))

print binned_data

답변

아마도 더 빠르고 사용하기 쉽습니다 numpy.digitize().

import numpy
data = numpy.random.random(100)
bins = numpy.linspace(0, 1, 10)
digitized = numpy.digitize(data, bins)
bin_means = [data[digitized == i].mean() for i in range(1, len(bins))]

이에 대한 대안은 다음을 사용하는 것입니다 numpy.histogram().

bin_means = (numpy.histogram(data, bins, weights=data)[0] /
             numpy.histogram(data, bins)[0])

어느 것이 더 빠른지 직접 시도하십시오 … 🙂

답변

Scipy (> = 0.11) 함수 scipy.stats.binned_statistic 특히 위의 질문을 해결합니다.

이전 답변과 동일한 예에서 Scipy 솔루션은 다음과 같습니다.

import numpy as np
from scipy.stats import binned_statistic

data = np.random.rand(100)
bin_means = binned_statistic(data, data, bins=10, range=(0, 1))[0]

답변

이 스레드가 왜 괴사되었는지 확실하지 않습니다. 그러나 다음은 2014 년 승인 된 답변입니다. 훨씬 더 빠를 것입니다.

import numpy as np

data = np.random.rand(100)
bins = 10
slices = np.linspace(0, 100, bins+1, True).astype(np.int)
counts = np.diff(slices)

mean = np.add.reduceat(data, slices[:-1]) / counts
print mean

답변

numpy_indexed 패키지 (면책 조항 : 나는 그것의 저자)는 효율적으로 이러한 유형의 작업을 수행 할 수있는 기능이 포함되어 있습니다 :

import numpy_indexed as npi
print(npi.group_by(np.digitize(data, bins)).mean(data))

이것은 본질적으로 앞서 게시 한 것과 동일한 솔루션입니다. 하지만 이제는 테스트와 모든 기능을 갖춘 멋진 인터페이스로 래핑되었습니다. 🙂

답변

추가하고 질문에 대답하기 위해 histogram2d python 을 사용하여 평균 bin 값을 찾으 십시오 .scipy에는 하나 이상의 데이터 세트에 대한 2 차원 비닝 통계 를 계산 하도록 특별히 설계된 기능 이 있습니다.

import numpy as np
from scipy.stats import binned_statistic_2d

x = np.random.rand(100)
y = np.random.rand(100)
values = np.random.rand(100)
bin_means = binned_statistic_2d(x, y, values, bins=10).statistic

scipy.stats.binned_statistic_dd 함수 는 더 높은 차원의 데이터 세트에 대한이 함수 의 일반화입니다.

답변

또 다른 대안은 ufunc.at를 사용하는 것입니다. 이 방법은 지정된 인덱스에서 원하는 작업을 제자리에 적용합니다. searchsorted 메서드를 사용하여 각 데이터 포인트에 대한 빈 위치를 얻을 수 있습니다. 그런 다음 at을 사용하여 bin_indexes에서 인덱스를 만날 때마다 bin_indexes가 지정한 인덱스에서 히스토그램의 위치를 ​​1 씩 증가시킬 수 있습니다. 

np.random.seed(1)
data = np.random.random(100) * 100
bins = np.linspace(0, 100, 10)

histogram = np.zeros_like(bins)

bin_indexes = np.searchsorted(bins, data)
np.add.at(histogram, bin_indexes, 1)

답변