작업형 3유형 최종정리 작업형1 : 3문제 (30점), 데이터 전처리 작업형2 : 1문제 (40점), 분류/회귀 예측 모델링 작업형3 : 2문제 (30점), 가설 검정 라이브러리 확인 파이썬에서 가설검정을 위한 통계와 관련된 라이브러리는 크게 2가지이다. scipy : SciPy는 수치 계산, 최적화, 선형 대수, 신호 및 이미지 처리, 통계 분석 등과 같은 과학적 계산 작업을 수행하는 데 사용됨 statsmodels : Statsmodels는 통계 분석과 추정을 위한 파이썬 라이브러리로, 선형 회귀, 로지스틱 회귀, 시계열 분석, 비모수적 추정 등 다양한 통계 모델을 지원함.
개요 연도, 월, 주만 있는 컬럼을 날짜 데이터 타입으로 변경하려면 어떻게 해야할까? 약간의 트릭이 필요하다 데이터 생성 가상의 데이터를 생성한다. import pandas as pd data = [ {"year": 2020, "month": 1, "week": 2, "company" : "A회사", "revenue_pct" : 49}, {"year": 2020, "month": 1, "week": 2, "company" : "B회사", "revenue_pct" : 51}, {"year": 2021, "month": 1, "week": 2, "company" : "A회사", "revenue_pct" : 37}, {"year": 2021, "month": 1, "week": 2, "company" : "B회사", "revenue_pct" : 63}, {"year": 2022, "month": 12, "week": 1, "company" : "A회사", "revenue_pct" : 70}, {"year": 2022, "month": 12, "week": 1, "company" : "B회사", "revenue_pct" : 30}, ] df = pd.
Streamlit Matplotlib-Seaborn 한글폰트 적용 개요 배포 시, matplotlib & seaborn 한글 폰트 적용 하는 방법에 대해 알아본다. 나눔고딕 폰트를 적용해본다. 폰트 다운로드 사이트 : https://fonts.google.com/specimen/Nanum+Gothic 개발환경 세팅 git clone 명령어를 활용하여 프로젝트 repo를 다운로드 받는다. 가상환경을 설정한다. virtualenv venv 실행한다. source venv/Scripts/activate 실행하여 가상환경에 접속한다. $ virtualenv venv created virtual environment CPython3.9.13.final.0-64 in 606ms creator CPython3Windows(dest=C:\Users\YONSAI\Desktop\streamlit-korean-fonts\venv, clear=False, no_vcs_ignore=False, global=False) seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy, app_data_dir=C:\Users\YONSAI\AppData\Local\pypa\virtualenv) added seed packages: pip==23.1.2, setuptools==67.
강의소개 인프런에서 Streamlit 관련 강의를 진행하고 있습니다. 인프런 : https://inf.run/YPniH 개요 한글폰트를 다운로드 받아서 matplotlib에 적용하는 코드를 작성해본다. 주요 코드를 기억해서 업무에 활용해보도록 한다. 폰트 다운로드 일반적으로 자주 사용하는 폰트를 다운로드 받는다. 참고 : https://www.kopus.org/biz-electronic-font2/ 스크롤을 내리면 TTF 다운로드 버튼을 클릭한다. 폰트 설치 다운로드 받은 폰트를 압축을 푼다. 캐시 정리 일반적으로는 다른 오피스 프로그램을 사용할 때는 위 폰트를 글꼴 설정에 추가하면 끝이다. 그러나, Matplotlib에서는 글꼴 설정이 끝이 아니라 Matplotlib에서 관리하는 폰트에 해당 글꼴이 들어있느냐가 매우 중요하다.
강의소개 인프런에서 Streamlit 관련 강의를 진행하고 있습니다. 인프런 : https://inf.run/YPniH 개요 ChatGPT API 배포 예제 흐름도를 보여주도록 한다. Streamlit 회원가입, OpenAI 회원가입은 완료했다는 가정하에 본 블로그를 읽기 바란다. Streamlit : https://share.streamlit.io/ OpenAI : https://openai.com/api/ API Key 생성 아래 화면에서 View API Keys를 클릭한다. 아래 화면에서 Create new secret key 버튼을 클릭한다. 계정 발급 시 필수 확인 사항 필자는 사업자 G메일 계정이 있고, 개인 계정이 있다. 먼저 개인 계정의 사용자 대시보드 화면은 아래와 같이 나온다.
강의소개 인프런에서 Streamlit 관련 강의를 진행하고 있습니다. 인프런 : https://inf.run/YPniH Installation Map 시각화를 위한 주요 라이브러리를 설치한다. pip install numpy pandas matplotlib seaborn jupyterlab geopandas pydeck Enabling pydeck for Jupyter Jupyter는 더 복잡한 서버/클라이언트 상호 작용을 허용할 수 있다. 사용자 또는 시스템 관리자가 주피터에서 사용할 수 있도록 pydeck를 사용하도록 설정해야 한다. 바이너리 데이터 전송, 데이터 선택 및 시간 경과에 따른 데이터 업데이트는 파이덱이 주피터 환경에서 사용 가능한 경우에만 대화식으로 작동할 수 있다.
강의소개 인프런에서 Streamlit 관련 강의를 진행하고 있습니다. 인프런 : https://inf.run/YPniH 개요 간단한 프로젝트라도 DB와 연동하는 작업은 매우 중요하다. 클라우드 DB를 사용하기 위해서는 클라우드 회원가입 등 번거로운 절차를 거쳐야 하며, 또한 비용도 추가될 수도 있다. SQLite를 사용하면 간단한 DB 작업도 진행할 수 있다. Streamlit + SQLite 연동 작업을 간단히 하도록 해본다. SQLite 데이터 핸들링을 하기 위해서는 Python 기초 문법, Pandas 라이브러리를 배워야 한다. Pandas는 본 블로그에서 CSV 파일을 읽고 저장을 하는데 사용을 하게 된다.
개요 Open API를 통해서 부동산 실거래가 정보를 pandas 데이터프레임으로 변환하는 코드를 구현한다. 요청인자 확인 샘플 URL은 크게 2가지를 제공한다. 서울시 부동산 실거래가 정보 http://openapi.seoul.go.kr:8088/(인증키)/xml/tbLnOpendataRtmsV/1/5/ 서울시 부동산 실거래가 정보(마곡일성트루엘플래닛) http://openapi.seoul.go.kr:8088/(인증키)/xml/tbLnOpendataRtmsV/1/5/2022/11500/강서구/10500/일반/0758/0002/마곡일성트루엘플래닛/오피스텔 출력 예제는 다음과 같다. <?xml version="1.0" encoding="UTF-8"?> <tbLnOpendataRtmsV> <list_total_count>2639192</list_total_count> <RESULT> <CODE>INFO-000</CODE> <MESSAGE>정상 처리되었습니다</MESSAGE> </RESULT> <row> <ACC_YEAR>2023</ACC_YEAR> <SGG_CD>11545</SGG_CD> <SGG_NM>금천구</SGG_NM> <BJDONG_CD>10100</BJDONG_CD> <BJDONG_NM>가산동</BJDONG_NM> <LAND_GBN>1</LAND_GBN> <LAND_GBN_NM>대지</LAND_GBN_NM> <BONBEON>0776</BONBEON> <BUBEON>0000</BUBEON> <BLDG_NM>가산대명벨리온</BLDG_NM> <DEAL_YMD>20230127</DEAL_YMD> <OBJ_AMT>12300</OBJ_AMT> <BLDG_AREA>16.28</BLDG_AREA> <TOT_AREA>25.630000</TOT_AREA> <FLOOR>8</FLOOR> <RIGHT_GBN/> <CNTL_YMD/> <BUILD_YEAR>2017</BUILD_YEAR> <HOUSE_TYPE>오피스텔</HOUSE_TYPE> <REQ_GBN>중개거래</REQ_GBN> <RDEALER_LAWDNM>서울 금천구</RDEALER_LAWDNM> </row> <row> <ACC_YEAR>2023</ACC_YEAR> <SGG_CD>11500</SGG_CD> <SGG_NM>강서구</SGG_NM> <BJDONG_CD>10500</BJDONG_CD> <BJDONG_NM>마곡동</BJDONG_NM> <LAND_GBN>1</LAND_GBN> <LAND_GBN_NM>대지</LAND_GBN_NM> <BONBEON>0793</BONBEON> <BUBEON>0000</BUBEON> <BLDG_NM>유림트윈파크</BLDG_NM> <DEAL_YMD>20230127</DEAL_YMD> <OBJ_AMT>13900</OBJ_AMT> <BLDG_AREA>19.
회원가입 회원가입 : 회원가입 | 서울특별시청 (seoul.go.kr) 모두 동의합니다를 선택한다. 본인인증 절차를 거친다. 회원정보를 입력한다. 부가서비스 신청은 옵션이기 때문에 여기서 별도로 다루지는 않겠다. 회원가입이 완료가 되었다. 서울 열린데이터 광장 로그인 이제 데이터 수집을 위해, 해당 사이트에 로그인을 진행한다. 찾고 싶은 데이터를 입력해주세요 부동산을 입력하고 검색을 진행한다. 여기에서 서울시 부동산 실거래가 정보 탭을 클릭한다. 하단에 인증키 신청을 클릭한다. 작성이 끝나면 바로 API 발급이 부여가 된다.
개요 Windows에서 Opencv 개발환경을 구축한다. 아나콘다를 설치하지 않고 구축한다. 사전 준비 파이썬 설치는 이미 진행된 것으로 가정한다. 설치 웹사이트 : https://www.python.org/ 또한 가상환경을 이미 설치한 것으로 가정한다. 주요 설치 명령어 opencv-python은 OpenCV의 메인 모듈을 포함하고, opencv-contrib-python은 메인 모듈과 Extras 모듈을 포함한다. 설치 시, NumPy는 자동으로 설치 된다. matplotlib 라이브러리는 파이썬 기본 시각화 라이브러리이다. pafy 라이브러리는 Youtube의 메타 데이터를 수집/검색하거나 다운로드 할 수 있도록 도와줌 youtube_dl 라이브러리는 터미널에서 사용 가능한 라이브러리이다. pygame은 파이썬에서 제공하는 게임 라이브러리이다.