pytorch
-
2021-07-15 읽을거리읽을거리 2021. 7. 16. 00:35
python 1. 정규 표현식 정규 표현식에 대해서 예제와 다양한 상황에 대해 잘 서술해놓았다. 정규 표현식을 잘 모르는 사람들이 보면 좋을 글 https://dongwooklee96.github.io/post/2021/07/14/정규표현식.html 정규표현식 | 개발자 이동욱 기본적인 정규 표현식 문법을 익히고 나서, 나중에 사용하거나 이와 관련된 코드를 볼 일이 있을 때 기억이 나도록 하자. 정규 표현 (Regular Expression) 정규 표현식은 일련의 문자열 패턴을 정형화 dongwooklee96.github.io 2. walrus 연산자 바다코끼리 연산자라고도 불리는 해당 연산자는 반복문, 조건문 조건 내에서 변수를 지정할 수 있게하는 연산자이다. 사용 시 매우 편리하겠지만 python 3..
-
[tensorflow/pytorch] random seed 설정딥러닝 2021. 3. 15. 15:53
프로젝트 끝나고도 너무 바빴고 많은 것들을 해서 한동안은 정리하는 시간을 가지려고 한다. 그리고 velog로 옮길까 했지만 여기가 더 편해서 velog에 작성한 것을 여기로 옮긴다. DL 을 설계하고 재현성에서 문제가 생기는 경우가 많다. 대회에서는 다시 학습했을 때, 동일한 성능이 나와야 스코어를 인정해주는데 해당 부분에서 탈락하는 팀을 간혹 봤다. pytorch의 경우 [해당 링크](https://hoya012.github.io/blog/reproducible_pytorch/)에서 보고 따라하면 된다. 짧게 정리하자면 아래와 같다. # pytorch random seed import torch import numpy as np import random random_seed = 42 torch.manu..
-
IOU loss딥러닝/pytorch 2020. 2. 7. 17:49
hardnet을 학습하면서 validation 이미지들의 iou 값이 계속 0.9를 못넘었다 그래서 loss function 문제인가 하고 이전에 사용했던 cross entropy 대신 iou loss를 사용하였다 링크는 아래 https://discuss.pytorch.org/t/how-to-implement-soft-iou-loss/15152 How to implement soft-IoU loss? I am trying to implement soft-mIoU loss for semantic segmentation as per the following equation. but loss is very low and I am not able to find the wrong step in the implem..
-
아파서 내일 할 것만 정리딥러닝/pytorch 2020. 2. 6. 12:02
새벽부터 메스껍고 구토할 거 같아서 병원에서 약타고 오후 반차... 오늘 unet 을 써서 학습하려고 했는데 일단 찾아놓은 것만 올려놓고 ㅌㅌ한다 unet 코드 https://github.com/milesial/Pytorch-UNet milesial/Pytorch-UNet PyTorch implementation of the U-Net for image semantic segmentation with high quality images - milesial/Pytorch-UNet github.com 여기서는 dice loss를 쓴다고 했는데 뭔 주사위 loss인가 싶어서 좀 찾아서 읽다가 눈에 초점을 잃어버림 다양한 loss에 대한 정리 https://lars76.github.io/neural-networ..
-
HardNet 개발 (2)딥러닝/pytorch 2020. 2. 5. 17:41
어제부터 계속 학습을 진행하는데 IOU로 평가한 acc는 80%가 나오는데 이미지는 아무것도 안찍혀서 이상하다고 생각했다 ...는 학습할 때 이미지하고 테스트할 때 이미지를 다르게 해서 문제였다 (학습할 때는 255로 안나누고, 테스트할 때만 나눔) 그래도 일단은 IOU 코드는 아래와 같이 수정 def iou_pytorch(outputs: torch.Tensor, labels: torch.Tensor, device='cuda'): # You can comment out this line if you are passing tensors of equal shape # But if you are passing output from UNet or something it will most probably # be..
-
HardNet 개발딥러닝/pytorch 2020. 2. 5. 16:30
하도 정리가 안되서 정리용 블로그 시작 이미지에서 segmentation 을 추출하는 모델 input 이미지의 width,height와 output 이미지의 width, height가 동일 input은 [channel, width, height] 라면 output 은 [classes, width, height] 로 각 픽셀별로 이미지화하여 나오게 됨 논문은 아래 링크 https://arxiv.org/abs/1909.00948 HarDNet: A Low Memory Traffic Network State-of-the-art neural network architectures such as ResNet, MobileNet, and DenseNet have achieved outstanding accuracy..
-
pytorch gpu parallel 설정딥러닝/pytorch 2020. 2. 4. 17:44
언제나 그렇듯 gpu 설정은 빡치는 작업이다 nvidia-docker로 띄우고 끝나는게 아니라 cudnn 도 설정해줘야하고 등등등...... 아무튼 환경 설정은 어찌어찌 해서 gpu를 사용하는데 torch.nn.DataParallel을 사용해서 학습을 시키는데 메모리만 잡아먹고 오른쪽 사용량은 100%와 0%를 1:1 비율로 오락가락하는 모습을 보여준다 (딥빡) 그래서 아래 링크를 보고 gpu 병렬 처리를 다시 설정하려는데 https://medium.com/daangn/pytorch-multi-gpu-%ED%95%99%EC%8A%B5-%EC%A0%9C%EB%8C%80%EB%A1%9C-%ED%95%98%EA%B8%B0-27270617936b 🔥PyTorch Multi-GPU 학습 제대로 하기 PyTorch..