딥러닝/딥러닝 etc
-
GPU 연산 잘 사용하기딥러닝/딥러닝 etc 2021. 4. 2. 17:45
이전에 어디선가 포스팅한 글을 읽었는데 (아마 velog일 것이다) 내가 생각하는 최적화와 딥러닝에서 돌아가는 최적화의 갭이 매우 크다라는 것을 느꼈다. 딥러닝하는 사람들이라면 모두 "GPU는 행렬 연산에 최적화되어 있다" 라는 말을 많이 봤을 것이다. 딥러닝에서 사용하는 연산은 행렬에 최적화되어 있지만 프로그래밍으로 접하는 사람들은 단순히 반복문을 적게 쓰고 Big-O 을 줄이는 방식으로 많이들 생각하겠지만 GPU의 최적화는 무조건 행렬이다. import torch import random import time RANGE = 10000 device = 'cuda' data = torch.Tensor([random.random() for _ in range(RANGE)]).to(device) mul_to..
-
딥러닝 학습 양상딥러닝/딥러닝 etc 2020. 2. 5. 18:31
지금까지 다양한 프로젝트를 하면서 학습이 어떻게 되는지 하나하나 다 눈으로 확인해봤다 (강박증인가...) 암튼 분류 별로 하나하나 따져봤을 때 image classification 은 각 이미지가 어떤 class 인지 바로 학습을 진행하는 것으로 보였다 loss 값을 봤을 때 예를 들어 아래 이미지와 같은 느낌 근데 image segmentation을 진행하는 것을 보자니 이미지의 형태를 찾는다 -> 그 형태가 어떤 class에 들어가는지 찾는다 의 순으로 진행되는 것으로 보였다 그래서 중간에 잠깐 accuracy가 뛰었다가 다시 class를 탐색하면서 떨어졌다가 제대로 학습하는 느낌?으로 진행되었다 그리고 OCR의 경우의 학습 양상은 이렇다 텍스트의 길이를 탐색한다 -> 각 위치에 맞는 글자를 학습한다..