2021-07-18 읽을거리

python

1. python 에서 사용하는 함수 5가지

해당 글은 lambda, map 등 각 item들에 적용할 수 있는 함수들 5가지에 대해 소개하고 있다.

대부분 알고 있겠지만, 모르는 것이 있을 수 있으므로 한 번은 보는 것을 추천

https://medium.com/pythoneers/5-powerful-functions-in-python-1804b51c4ded

5 Powerful Functions in Python

 

2. type annotation

3.10 버전에서 제공하는 type annotation에 대한 설명을 하고 있다.

이전에도 3.10 버전에 대해 한 번 공유한 적이 있지만 해당 글은 type annotation만을 다루고 있다.

https://medium.com/geekculture/python-typed-annotations-1e3f3f5f6841

Python Typed Annotations

 

3. 한번 쯤 써볼만한 파이썬 패키지

해당 글에서 소개하는 라이브러리들 대부분은 command line 에서 사용할만한 라이브러리이다.

GUI 를 사용하는 라이브러리들도 있지만 대부분 텍스트 기반이므로 jupyter 보다는 .py 에서 사용하기에 더 적합하다.

https://levelup.gitconnected.com/20-python-packages-that-you-must-try-a81862c913f6

20 Python Packages That You Must Try

 

4. python OOP 코딩에 필요한 개념

OOP 프로그래밍을 하면서 주로 쓰이는 개념들과 함수들에 대해서 소개하고

적재적소에 쓰는 방법을 예제를 통해 설명해주고 있다.

https://medium.com/pythoneers/best-practices-to-follow-while-creating-classes-in-python-4497bc8535dc

Best Practices To Follow While Creating Classes In Python

 

5. 실제로 사용되는 2020년 python 프로젝트 7가지

일반 사용자들이 사용할 만한 python 기반 프로젝트를 7가지 소개하고 있다.

반 정도는 ML/DL 프로젝트로 보여지는데 대부분 흥미로운 프로젝트들이라서 공유한다.

https://betterprogramming.pub/7-exciting-real-world-python-projects-from-2020-db32571af3d6

7 Exciting Real-World Python Projects From 2020

 

---

 

ML / DL

1. anomaly detection for time-series

시계열 데이터에서 이상 탐지를 하는 방법을 예제와 수식을 통해서 하나씩 설명해주고 있다.

https://medium.com/dataman-in-ai/anomaly-detection-for-time-series-a87f8bc8d22e

Anomaly Detection for Time Series

 

2. jupyter extension 5가지

이전에도 소개한 extension들과 기능이 겹치는 것들이 많지만, 이전에는 소개되지 않은 extension들이다.

어떤 것이 더 편한지는 비교해보고 사용해보는 것을 추천

https://betterprogramming.pub/5-extensions-to-enhance-your-jupyter-notebook-1b44c4ac88bb

5 Extensions To Enhance Your Jupyter Notebook

 

3. sidetable 라이브러리

해당 글에서는 pandas 기능을 보조해주는 sidetable 라이브러리를 소개해주고 있다.

빈도, 갯수 등 종합 데이터들을 확인하는 기능들이 들어가있어서 pandas만을 가지고 사용하는 것보다 더 간결하게 사용이 가능하다.

https://towardsdatascience.com/pandas-sidetable-just-announced-708e5f65938f

Pandas Sidetable Just Announced

 

4. time-series 분석 및 예측

해당 글에서는 time-series 데이터를 분석하는 방법과 SARIMA, prophet 알고리즘을 이용하여 forecasting 하는 예제를 순서대로 설명하고 있다.

time-series 데이터를 시작하는 사람이면 해당 글을 읽어보는 것을 추천

https://towardsdatascience.com/the-complete-guide-to-time-series-analysis-and-forecasting-70d476bfe775

The Complete Guide to Time Series Analysis and Forecasting

 

5. 데이터 시각화에 쓰이는 라이브러리들

해당 글에서는 텍스트, 테이블 데이터 등을 깔끔하게 보여주는 라이브러리들에 대해 소개해주고 있다.

이전에 sweetbiz 등 시각화 라이브러리들을 소개했지만 그와는 결이 좀 다른 라이브러리이므로 봐보는 것을 추천

https://towardsdatascience.com/6-cool-python-libraries-that-i-came-across-recently-72e05dadd295

6 Cool Python Libraries That I Came Across Recently

 

6. metaflow 라이브러리

metaflow 라이브러리는 간단한 pipeline을 구성하는 라이브러리로 소개되어 있다.

airflow, luigi 등 pipeline을 만드는 다른 라이브러리들과 어느정도 비교가 되고 있지만,

실험 관리와 반복 작업은 metaflow 만으로는 불가능한 것으로 보인다.

https://medium.com/spikelab/metaflow-the-swiss-knife-tool-in-data-science-65ba88a99415

Metaflow: the Swiss knife tool in data science

https://danthetech.netlify.app/DataScience/basic-of-metaflow

Netflix 데이터 파이프라이닝 오픈소스 Metaflow 알아보기

 

7. pandas의 데이터 가공을 위한 함수 5가지

pandas의 데이터 가공을 위한 내장 함수를 5가지를 소개하고 있다.

많이 사용하는 함수들도 있겠지만 처음 보는 함수들도 있어서 한 번 쯤 보는 것을 추천

https://towardsdatascience.com/my-top-5-pandas-data-manipulation-function-680e346809c7

My Top 5 Pandas Data Manipulation Function

 

8. python web crawler 라이브러리 : scapy 라이브러리

파이썬에서 selenium, beautifulsoup4 라이브러리와 함깨 web crawler로 흔히 사용되는 라이브러리 중 하나이다.

해당 글에서는 예제 scapy에 대한 소개와 함께 예제도 같이 포함되어 있다.

다만, beautifulsoup4 와 같이 javascript에 대한 지원이 어려워서, selenium과는 결이 좀 다르다고 생각된다.

https://jybaek.tistory.com/927

웹크롤러 scrapy를 소개합니다

 

---

UI / UX

1. python GUI 앱 라이브러리 : PyQt5 라이브러리

PyQt5는 python을 사용하여 GUI 프로그램을 만드는 라이브러리이다.

이를 이용하여 윈도우 exe 프로그램을 만드는 예제를 소개하고 있다.

https://medium.com/analytics-vidhya/how-to-build-your-first-desktop-application-in-python-7568c7d74311

How to build your first Desktop Application in Python

 

2. simple한 selenium 기반 웹 크롤링 라이브러리 : pyleniumio 라이브러리

selenium보다 간단하게 크롤링을 할 수 있는 라이브러리로 소개되고 있다.

해당 링크에서 비교하고 있는 코드를 보면 selenium보다 간단하게 구성이 되어있다.

하지만, 설명이 불친절하고 예제와 정보가 부족하다.

https://github.com/ElSnoMan/pyleniumio

ElSnoMan/pyleniumio