2021-09-12 읽을거리

회사 일로 인해 앞으로 1주일에 1개 씩 작성할 예정이다.

 

python

1. python multiprocessing 라이브러리 : MPIRE 라이브러리

해당 라이브러리는 기존 python에서 제공하는 multiprocessing 라이브러리에 추가적인 기능들이 더해진 라이브러리이다.

process bar 등 추가적인 기능들이 포함되어 있는데 기존 라이브러리에서는 사용이 매우 어려워서

해당 라이브러리를 사용하는 것을 추천한다.

https://github.com/Slimmer-AI/mpire 

GitHub - Slimmer-AI/mpire: A Python package for easy multiprocessing, but faster than multiprocessing

 

---

d

ML / DL

1. mlflow 의 장점

해당 글은 mlflow을 사용할 때의 장점들에 대해 설명하고 있다.

사용법은 포함되어 있지 않아서 별도로 찾아봐야 하지만, 필요한 기능들이 있는지 해당 글을 통해 확인 후 사용해보는 것을 추천

https://myeonghak.github.io/mlops/MLOps-MLFlow로-모델-학습-관리하기/

[MLOps] MLflow 살펴보기

 

2. time series 의 change point를 감지하기

해당 글은 time series 시리즈로 작성된 글로써 time series에서 데이터가 크게 변하는 change point를 detecting 하는 방법들에 대해 나열하고 있다.

change point를 찾아서 이를 학습에도 사용할 것으로 생각되어 좋은 글이라고 생각된다.

https://medium.com/dataman-in-ai/finding-the-change-points-in-a-time-series-95a308207012

Detecting the Change Points in a Time Series

 

3. cli 환경에서 사진 찾기 툴 : rclip 라이브러리

해당 글은 command line으로 원하는 카테고리의 이미지를 찾아서 다운로드 하는 라이브러리이다.

테스트 데이터나 일반적인 학습 데이터를 구성할 때, 해당 라이브러리를 사용하면 편할 것이라 생각된다.

https://github.com/yurijmikhalevich/rclip

GitHub - yurijmikhalevich/rclip: AI-Powered Command-Line Photo Search Tool

 

4. pytorch AutoML 라이브러리 : gradsflow 라이브러리

해당 라이브러리는 pytorch 기반으로 ray, optuna 등을 사용하여 AutoML을 만든 라이브러리이다.

다만, 아직 버전이 0.0.4 이고, 예제로 image classification, text classification, text summarization 3가지만 존재하여

이후 좀 더 버전 업데이트가 진행되고 사용하면 편할 것이라 생각된다.

https://github.com/gradsflow/gradsflow

GitHub - gradsflow/gradsflow: An open-source AutoML Library in PyTorch