Torch
-
GPU 연산 잘 사용하기딥러닝/딥러닝 etc 2021. 4. 2. 17:45
이전에 어디선가 포스팅한 글을 읽었는데 (아마 velog일 것이다) 내가 생각하는 최적화와 딥러닝에서 돌아가는 최적화의 갭이 매우 크다라는 것을 느꼈다. 딥러닝하는 사람들이라면 모두 "GPU는 행렬 연산에 최적화되어 있다" 라는 말을 많이 봤을 것이다. 딥러닝에서 사용하는 연산은 행렬에 최적화되어 있지만 프로그래밍으로 접하는 사람들은 단순히 반복문을 적게 쓰고 Big-O 을 줄이는 방식으로 많이들 생각하겠지만 GPU의 최적화는 무조건 행렬이다. import torch import random import time RANGE = 10000 device = 'cuda' data = torch.Tensor([random.random() for _ in range(RANGE)]).to(device) mul_to..