데이터 엔지니어 이것저것

기존 data-profiling 이 ydata-profiling 으로 변경되었다 설치 pip install ydata-profiling 문서 https://github.com/ydataai/ydata-profiling GitHub - ydataai/ydata-profiling: 1 Line of code data quality profiling & exploratory data analysis for Pandas and Spark DataFra 1 Line of code data quality profiling & exploratory data analysis for Pandas and Spark DataFrames. - GitHub - ydataai/ydata-profiling: 1 Line of co..

import matplotlib.pyplot as plt plt.rcParams['font.family'] = 'NanumGothic' 심플하게 해당 코드 추가하면 한글

파이썬으로 심플하게 동적 차트를 그리기 위해 사용 pip install bar_chart_race 추가적으로 이렇게 하면 과거 버전이고, 가장 최신버전은 pip에서 안된다. pip uninstall bar_chart_race pip install git+https://github.com/dexplo/bar_chart_race 결과물을 영상으로 저장하기 위해서는 FFMPEG가 필요하다 프로그램 설치 : https://www.gyan.dev/ffmpeg/builds/ Builds - CODEX FFMPEG @ gyan.dev FFmpeg is a widely-used cross-platform multimedia framework which can process almost all common and man..

Lux란 시각화 및 데이터 분석 프로세스를 자동화 하여 빠르고 쉬운 데이터 탐색을 용이하게 하는 Python lib 판다스 프로파일링과 비교 jupyter nbextension install --py luxwidget jupyter nbextension enable --py luxwidget !pip install lux-api !jupyter nbextension install --py luxwidget !jupyter nbextension enable --py luxwidget import lux import pandas as pd df = pd.read_csv("https://raw.githubusercontent.com/lux-org/lux-datasets/master/data/college.cs..

In [1]: import numpy as np import pandas as pd In [2]: # 시각화 import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline In [3]: # 머신러닝 from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC, LinearSVC from sklearn.ensemble import RandomForestClassifier from sklearn.neighbors import KNeighborsClassifier from sklearn.naive_bayes import GaussianNB from sklearn..

판다스 프로파일링이란? 데이터 분석을 하기 전 데이터프레임을 한줄의 명령으로 리포트를 생성할수 있는 라이브러리 가장 기초적인 분석데이터는 한번에 쉽게 확인할수 있다. !pip3 install -U pandas-profiling from pandas_profiling import ProfileReport pr=data_df.profile_report() pr.to_file('./pr_report.html')

# 라이브러리 임포트 import pandas as pd import numpy as np import matplotlib.pyplot as plt import platform from matplotlib import font_manager, rc # 글꼴 처리 준비 # 주피터 노트북에서 시각화 결과가 직접 출력되도록 설정 %matplotlib inline # 판다스 데이터프레임 실수 출력 형식 지정 pd.options.display.float_format = '{:,.1f}'.format # 운영체제에 적합한 한글 글꼴 지정 plt.rcParams['axes.unicode_minus'] = False # '-' 부호가 정상적으로 출력되도록 설정 if platform.system() == 'Darwin'..

from konlpy.tag import Okt from collections import Counter from wordcloud import WordCloud import matplotlib.pyplot as plt okt = Okt() 몇가지 import를 하는데 환경 세팅이 중요하다 texts = """방탄소년단이 또 새 역사를 썼다. 방탄소년단(BTS)이 한국 가수 최초로 빌보드 메인 싱글 차트인 ‘핫 100’ 정상에 올랐다. 음악 전문잡지 빌보드는 지난달 31일(현지 시각) BTS의 첫 영어 싱글 ‘다이너마이트’(Dynamite)가 핫 100 최신 차트에 1위로 데뷔했다고 밝혔다.핫 100은 음악 스트리밍 실적과 음원 판매량, 라디오 방송 횟수 등을 종합해 매주 미국에서 가장 인기 있는 노래 ..