[neural-network] PyTorch-연속 ()

tensor.contiguous ()는 텐서의 복사본을 만들고 복사본의 요소는 연속적인 방식으로 메모리에 저장됩니다. contiguous () 함수는 일반적으로 처음 텐서를 전치 () 한 다음 모양을 변경 (보기) 할 때 필요합니다. 먼저 연속 텐서를 생성 해 보겠습니다.

aaa = torch.Tensor( [[1,2,3],[4,5,6]] )
print(aaa.stride())
print(aaa.is_contiguous())
#(3,1)
#True

stride () return (3,1)은 다음을 의미합니다. 각 단계 (행 단위)로 첫 번째 차원을 따라 이동할 때 메모리에서 3 단계를 이동해야합니다. 두 번째 차원 (열 단위)을 따라 이동할 때 메모리에서 한 단계 이동해야합니다. 이것은 텐서의 요소가 연속적으로 저장되었음을 나타냅니다.

이제 텐서에 come 함수를 적용 해 보겠습니다.

bbb = aaa.transpose(0,1)
print(bbb.stride())
print(bbb.is_contiguous())

#(1, 3)
#False


ccc = aaa.narrow(1,1,2)   ## equivalent to matrix slicing aaa[:,1:3]
print(ccc.stride())
print(ccc.is_contiguous())

#(3, 1)
#False


ddd = aaa.repeat(2,1)   # The first dimension repeat once, the second dimension repeat twice
print(ddd.stride())
print(ddd.is_contiguous())

#(3, 1)
#True


## expand is different from repeat.
## if a tensor has a shape [d1,d2,1], it can only be expanded using "expand(d1,d2,d3)", which
## means the singleton dimension is repeated d3 times
eee = aaa.unsqueeze(2).expand(2,3,3)
print(eee.stride())
print(eee.is_contiguous())

#(3, 1, 0)
#False


fff = aaa.unsqueeze(2).repeat(1,1,8).view(2,-1,2)
print(fff.stride())
print(fff.is_contiguous())

#(24, 2, 1)
#True

좋아, 우리는 transpose (), 좁은 (), 텐서 슬라이싱, 그리고 expand () 는 생성 된 텐서를 연속적이지 않게 만든다는 것을 알 수 있습니다. 흥미롭게도 repeat ()와 view ()는 불 연속적이지 않습니다. 이제 질문은 불연속 텐서를 사용하면 어떻게 될까요?

대답은 view () 함수가 불연속 텐서에 적용될 수 없다는 것입니다. 이것은 아마도 view ()가 텐서가 연속적으로 저장되어 메모리에서 빠른 재구성을 수행 할 수 있도록 요구하기 때문일 것입니다. 예 :

bbb.view(-1,3)

오류가 발생합니다.

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-63-eec5319b0ac5> in <module>()
----> 1 bbb.view(-1,3)

RuntimeError: invalid argument 2: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Call .contiguous() before .view(). at /pytorch/aten/src/TH/generic/THTensor.cpp:203

이를 해결하려면 인접하지 않은 텐서에 contiguous ()를 추가하고 연속 복사본을 만든 다음 view ()를 적용하면됩니다.

bbb.contiguous().view(-1,3)
#tensor([[1., 4., 2.],
        [5., 3., 6.]])