2021-08-25 읽을거리

python

1. vim으로 python IDE 환경 구성하기

해당 글은 vim 만을 사용하여 python IDE 로써 사용할 수 있도록 순서대로 설명하고 있다.

설치해야하는 라이브러리들과 옵션들이 많지만, CLI 환경에서 코딩을 해야하는 상황이면 해당 글대로 구성하면 편할 것이다.

https://medium.com/nerd-for-tech/vim-as-an-ide-for-python-2021-f922da6d2cfe

Vim As an IDE for Python 2021

 

2. python class의 slots 속성에 대한 소개

해당 글은 class의 slots 속성에 대한 예제와 장점들을 소개하고 있다.

slots는 결국 class를 빠르게 생성하는 것이 목적이어서, 결국 기능의 제한과 함께 속도를 향상 시키는 용도로 사용된다.

python class의 instance를 크게 사용해야한다면, 해당 글을 읽어서 slots을 자유롭게 사용하는 스킬을 익히는 것을 추천한다.

https://medium.com/@stephenjayakar/a-quick-dive-into-pythons-slots-72cdc2d334e

 

---

 

ML / DL

1. Data Scientist 들이 많이 쓰는 라이브러리들을 한 번에 import 해주는 라이브러리 : pyforest 라이브러리

해당 라이브러리는 D.S.들이 많이 사용하는 pandas, matplotlib, seaborn 등 다양한 라이브러리들을 한 번에 import 해준다.

사용 시, 즉시 import 인지 lazy import 인지 등의 설정도 가능하다.

https://towardsdatascience.com/import-all-python-libraries-in-one-line-of-code-86e54f6f0108

Import all Python libraries in one line of code

 

2. pandas styler 사용하는 예제 10가지

해당 글은 pandas의 dataframe을 시각적 효과를 추가하여 좀 더 사용자가 보기 편하도록 styler라는 기능을 소개하고 있다.

해당 글을 읽어보면 추가적인 라이브러리 없이 pandas 만으로 시각적 효과를 잘 사용할 수 있다는 것을 알 수 있다.

https://towardsdatascience.com/10-examples-to-master-pandas-styler-408ea794e91

10 Examples to Master Pandas Styler

 

3. mediapipe 설치 및 사용 예제

mediapipe는 구글에서  모바일, 엣지, 클라우드 등에서 이미지 인식, 검출 등을 사용할 수 있도록 제작한 AI 솔루션이다.

hand tracking, object detection 등 다양한 분야의 솔루션을 사용할 수 있도록 배포하고 있어서, 장난감 만들기는 좋아보인다.

https://blog.naver.com/chandong83/222472645564

미디어파이프(Mediapipe) 파이썬 설치하기 - 윈도우10

 

4. 빈도주의와 베이지안에 대한 차이

해당 글은 일반적인 확률론과 베이지안에 대한 설명을 각각의 장단점과 시점의 예시로 잘 설명해주고 있다.

수식 등에 대한 깊은 이해가 담긴 글은 아니지만 베이지안이라는 것에 대한 감을 잡기에는 좋은 글이다.

https://shawnbaek.tistory.com/14

[Baysian 1] 빈도주의(Frequentist) VS 베이지안(Baysian)

 

5. MLOps에 대한 기초적인 이해

해당 글은 MLOps와 DevOps에 대해 차이점을 위주로 장단점을 설명하고 있다.

MLOps는 코드에 추가적으로 데이터들도 중요하기 때문에 DevOps와는 일부 다른 방식과 다른 주요 포인트를 가지고 있다.

그래서, 해당 글은 해당 요소들이 어떻게 다른지, 키 포인트는 무엇인지에 대해 설명하고 있다.

https://medium.com/swlh/a-basic-understanding-of-ml-ops-a9f289afaf27

A Basic Understanding of ML Ops

 

6. sklearn의 time series 기능 라이브러리 : sktime

해당 글은 scikit-learn을 기반으로 time-series 도메인에서 사용할 수 있도록 제작된 라이브러리이다.

기존, facebook에서 만든 darts 라이브러리와는 또 다른 것으로 보여지고,

scikit-learn 기반이라서 darts보다 더 많은 기능들을 제공하고 있는 것으로 보여진다.

해당 글은 sktime을 어떻게 사용하는지 예제와 설명을 함께 제공하고 있다.

https://towardsdatascience.com/sktime-a-unified-python-library-for-time-series-machine-learning-3c103c139a55

Sktime: a Unified Python Library for Time Series Machine Learning

https://github.com/alan-turing-institute/sktime

GitHub - alan-turing-institute/sktime: A unified framework for machine learning with time series

 

7. data scientist 들이 도전해보기 좋은 데이터셋 20가지

해당 글은 beginner부터 시작하기 좋은 데이터셋들을 순서대로 소개를 하고 있다.

본인이 연습하고 싶거나, 기초 단계에 있다라고 생각한다면 해당 데이터셋들에 대해 순서대로 도전해보는 것을 추천한다.

https://medium.com/projectpro/20-machine-learning-projects-that-will-get-you-hired-in-2021-a89473f2d2c7

20 Machine Learning Projects That Will Get You Hired in 2021

 

8. darts 라이브러리를 사용하여 multiple time series 예측 모델 학습하기

해당 글은 facebook에서 만든 time series 도메인의 forecasting을 위한 darts 라이브러리를 사용하여

multiple time series 데이터로 예측하는 예제를 소개하고 있다.

기본적인 사용법보다는 좀 더 난이도 있게 사용하는 법을 소개하고 있어서, darts를 기본만 알고 있는 사람에게 추천한다.

https://medium.com/unit8-machine-learning-publication/training-forecasting-models-on-multiple-time-series-with-darts-dc4be70b1844

Training Forecasting Models on Multiple Time Series with Darts

 

9. time series 요소들에 대한 이해

해당 글은 time series forecasting 분야에서 요소 별로 나누고 각각에 대해 코드와 함께 설명하고 있다.

물론 깊은 설명은 아니지만 time series의 요소들에는 무엇이 있고, 어떻게 진행되는지에 대해 설명이 잘 되어 있다.

https://pub.towardsai.net/understand-time-series-components-with-python-4bc3e2ba1189

Understand Time Series Components with Python

 

---

 

시각화

1. data science의 간단하게 시각화하는 3가지 라이브러리

해당 글은 데이터를 시각화하는 라이브러리 3가지에 대해 소개하고 있다.

pandas_profiling은 기존에 소개하였지만, 다른 두가지는 새로운 것이기 때문에 추천한다.

https://medium.com/trymito/3-python-packages-that-make-data-science-simple-25695dc565d

3 Python Packages That Make Data Science Simple

 

---

 

논문

1. pretrained transformers as universal computation engines

해당 글은 transformer을 pretrain하여 freeze 후 다른 영역에서 finetuning하는 논문이다.

pretrained를 사용한 것과 random initialize 를 한 것에 대해 성능을 비교하는 것으로 보여지고 있다.

https://arxiv.org/abs/2103.05247 

Pretrained Transformers as Universal Computation Engines

 

---

 

ETC

1. VS code 업데이트

해당 글은 vs code의 주요 업데이트 내용을 소개하고 있다.

다른 내용은 눈에 잘 안들어오지만 Jupyter notebook을 공식적으로 지원하게 된 점은 매우 좋다.

https://preettheman.medium.com/vs-code-just-got-a-massive-update-658aee5fcf3b

VS Code just got a massive update

 

2. LINE에서 사용하는 테스트 기법들

해당 글은 LINE에서 테스트를 왜 해야하고, 어떻게 사용하는 지 등 프로그래밍의 테스트에 대해서 심도 깊게 설명을 해주고 있다.

소프트웨어 개발 뿐만 아니라, 모든 프로그래밍에서도 테스트는 필요하기 때문에

이 글에서 소개된 기법들이 필요하지 않더라도 테스트 자체에 대한 이해를 가져가기 좋은 글로 생각된다.

https://engineering.linecorp.com/ko/blog/testing-optimization/

LINE에서 테스트를 최적화하는 방법 - LINE ENGINEERING

 

3. 변수, 함수 naming 규칙 알고리즘

해당 글은 변수, 함수 naming을 할 때 어떤 식으로 이름을 지어야하는 지에 대해 저자의 매우 상세한 알고리즘을 소개하고 있다.

주석이 없이도 코드만으로도 이해할 수 있는 코드가 좋은 코드라는 생각을 가지고 있어서

해당 글을 숙지하고 협업을 진행하면 좀 더 원활하게 되어 추천한다.

https://melevir.medium.com/python-functions-naming-the-algorithm-74320a18278d

 

4. cron 표현식

해당 글은 linux background 에서 주기적으로 실행시키는 패키지인 cron에 대해 주기를 정하는 표현식의 규칙을 설명하고 있다.

매우 심플하게 설명해놨어서 보기에는 편하지만, 예시가 부족하기 때문에 감을 못잡고 있다면 오히려 어려울 수 있을 것이다.

https://leonkong.cc/posts/cron.html

cron 표현식 정리