GPU
-
GPU 연산 잘 사용하기딥러닝/딥러닝 etc 2021. 4. 2. 17:45
이전에 어디선가 포스팅한 글을 읽었는데 (아마 velog일 것이다) 내가 생각하는 최적화와 딥러닝에서 돌아가는 최적화의 갭이 매우 크다라는 것을 느꼈다. 딥러닝하는 사람들이라면 모두 "GPU는 행렬 연산에 최적화되어 있다" 라는 말을 많이 봤을 것이다. 딥러닝에서 사용하는 연산은 행렬에 최적화되어 있지만 프로그래밍으로 접하는 사람들은 단순히 반복문을 적게 쓰고 Big-O 을 줄이는 방식으로 많이들 생각하겠지만 GPU의 최적화는 무조건 행렬이다. import torch import random import time RANGE = 10000 device = 'cuda' data = torch.Tensor([random.random() for _ in range(RANGE)]).to(device) mul_to..
-
pytorch gpu parallel 설정딥러닝/pytorch 2020. 2. 4. 17:44
언제나 그렇듯 gpu 설정은 빡치는 작업이다 nvidia-docker로 띄우고 끝나는게 아니라 cudnn 도 설정해줘야하고 등등등...... 아무튼 환경 설정은 어찌어찌 해서 gpu를 사용하는데 torch.nn.DataParallel을 사용해서 학습을 시키는데 메모리만 잡아먹고 오른쪽 사용량은 100%와 0%를 1:1 비율로 오락가락하는 모습을 보여준다 (딥빡) 그래서 아래 링크를 보고 gpu 병렬 처리를 다시 설정하려는데 https://medium.com/daangn/pytorch-multi-gpu-%ED%95%99%EC%8A%B5-%EC%A0%9C%EB%8C%80%EB%A1%9C-%ED%95%98%EA%B8%B0-27270617936b 🔥PyTorch Multi-GPU 학습 제대로 하기 PyTorch..