이상값의 정의 다소 주관적이며(Somewhat Subjective), 특정 분포의 중심경향성, 퍼진 정도와 형태에 따라 밀접한 관련이 있다. 평균에서 표준편차보다 몇 배 더 떨어져 있다거나, 즉, 정규분포를 이루고 있지 않을 때 왜도 또는 첨도가 발생할 때 균등분포(Uniform Distribution)는, 발생할 확률이 모두 같다. 만약, 확진자수가 최소 1부터 최대 10,000,000까지 균등하게 분포한다면, 어떤 값도 이상값으로 고려하지 않는다. 이상값을 파악하려면, 반드시, 각 변수의 분포를 먼저 이해해야 한다. 라이브러리 및 데이터 불러오기 실습을 위한 데이터를 불러온다. import numpy as np import matplotlib.
데이터 가져오기 pandas, numpy, matplotlib 라이브러리를 불러온다. 데이터를 불러온다. 데이터는 https://ourworldindata.org/coronavirus-source-data 에서 가져왔다. 2020년 6월 1일 기준이다. import pandas as pd covidtotals = pd.read_csv("data/covidtotalswithmissings.csv") print(covidtotals.head()) iso_code lastdate location total_cases total_deaths \ 0 AFG 2020-06-01 Afghanistan 15205 257 1 ALB 2020-06-01 Albania 1137 33 2 DZA 2020-06-01 Algeria 9394 653 3 AND 2020-06-01 Andorra 764 51 4 AGO 2020-06-01 Angola 86 4 total_cases_pm total_deaths_pm population pop_density median_age \ 0 390.589 6.602 38928341.
개요 현대 머신러닝 이론의 백본(Backbone)이 되는 결정 트리에 대해 이론적으로 살짝 정리한다. 주요 수식은 Python Machine Learning Second Edition 교재를 주로 참고 하였다. (Page: 90 ~ 94) 교재 출처: https://www.amazon.com/Python-Machine-Learning-scikit-learn-TensorFlow/dp/1787125939 결정 트리의 예 결정 트리는 여러가지 연속된 질문을 학습하여 분류하는 것이 원칙이다. 다음의 간단한 예를 들어본다. 결정 트리는 크게 3가지로 구성이 되어 있다. 트리 내부 노드, 리프 노드, 그리고 가지로 구성이 되어 있다. 어떻게 질문을 하느냐에 따라서 분류가 결정된다. 결정 트리는 숫자에도 적용할 수 있다.
개요 Windows와 Virtualenv를 활용하여 빠르게 App 배포를 해본다. 1. 프로그램 다운로드 설치파일 주소: https://devcenter.heroku.com/articles/getting-started-with-python#set-up 설치할 때, 다음과 같은 에러가 발생할 수 있다. 이럴 경우에는 환경변수를 강제로 잡는다. C:\Program Files\heroku\bin Heroku가 제대로 환경설정이 되어 있는지 확인하려면, 터미널에서 다음 명령어를 입력해 확인한다. $ heroku -v heroku/7.53.0 win32-x64 node-v12.21.0 (base) Github 설치: https://git-scm.com/ 아나콘다 설치: https://www.anaconda.com/products/individual 각각의 환경설정은 모두 해둬야 한다. 2. Getting Started Heroku 회원가입을 한다. (https://signup.heroku.com/) 그리고 로그인을 한다. $ heroku login heroku: Press any key to open up the browser to login or q to exit: Opening browser to https://cli-auth.
개요 Mac 유저를 위해 한글 폰트 추가하는 방법을 설명한다. 기본 코드는 Windows에서도 동작한다. 폰트 추가 방법은 생략한다. 한글 폰트 깨진 시각화 간단하게 깨진 한글이 들어간 시각화를 구현한다. import matplotlib.font_manager as fm import matplotlib.pyplot as plt import matplotlib as mpl plt.plot([1, 2, 3, 4, 5]) plt.title("테스트") plt.show() /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/matplotlib/backends/backend_agg.py:238: RuntimeWarning: Glyph 53580 missing from current font. font.set_text(s, 0.0, flags=flags) /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/matplotlib/backends/backend_agg.py:238: RuntimeWarning: Glyph 49828 missing from current font. font.set_text(s, 0.0, flags=flags) /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/matplotlib/backends/backend_agg.py:238: RuntimeWarning: Glyph 53944 missing from current font.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 Pandas와 Airflow를 활용하여 데이터를 정제하는 코드를 구성한다. 우선 데이터는 아래에서 CSV 파일을 다운로드 받고, Dags 파일 하단에 위치시킨다. URL: https://github.com/PaulCrickard/escooter/blob/master/scooter.csv Raw 데이터 확인 간단하게 Raw 데이터를 확인해보도록 한다. import pandas as pd df = pd.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 Airflow를 활용하여 PostgreSQL에 저장된 데이터를 디스크로 다운로드 받고, 그리고 그 파일을 다시 읽어서 Elasticsearch에 저장하도록 한다. 전체적인 흐름은 getData from PostgreSQL >> insertData to Elasticsearch 로 저장할 수 있다. 전체 코드 실행 우선 전체 코드를 실행하도록 한다.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 데이터를 질의하는 방법과 데이터를 삽입하는 방법은 동일하다. 다만, 이 때에는 search 메서드를 사용하다. 또한, doc 문서도 조금 다르다. 기본적으로 SQL 과 문법이 다르기 때문에 공식문서를 확인한다. 실행 본 테스트를 실행하기에 앞서서, Elasticsearch 과 Kibana 를 먼저 구동시키고, 데이터가 미리 삽입 되어 있으면 좋다.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 NoSQL 데이터베이스 시스템의 하나인 Elasticsearch 를 다루는 방법을 설명한다. NoSQL 은 데이터를 행들과 열들로 저장하지 않는 데이터베이스를 말한다. 대개 JSON문서 형태로 저장하고, SQL이 아닌 절의 언어를 주로 사용한다. 설치 먼저 설치를 진행한다. (venv) $ pip3 install elasticsearch Collecting elasticsearch Downloading elasticsearch-7.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 MacOS에서의 기본 설치 과정은 생략하도록 한다. 새로운 DB를 생성하도록 한다. 먼저 환경변수를 설정한다. 해당 경로를 가져오는 방법은 Postgre SQL Installation on MacOS M1에서 확인한다. (venv) $ export PATH=/opt/homebrew/bin:$PATH:/Applications/Postgres.app/Contents/Versions/13/bin 먼저 기본 데이터베이스에 연결한다. (venv) $ psql postgres psql (13.