I. 개요 머신러닝으로서 회귀 모형에 대해 숙지한다. 회귀 모형의 기본적인 개념과 평가 지표에 대해 숙지한다. II. 회귀 모형 개요 회귀(Regression)은 통계 이론 중 가장 기본이다. 회귀의 기원은 영국의 통계학자 갈톤(Galton)이 수행한 연구에서 유래한다. 부모와 자식 간의 키의 상관관계를 분석하였는데, 키가 작은 가정과 키가 큰 가정을 살펴본 결과, 무한정 작아지지도 않고, 무한정 커지지 않아 일정한 평균으로 회귀하려는 자연적 법칙을 발견했다는 것이 기원이다. (1) 회귀식의 개요 회귀는 1차 방정식이다. 지역, 방의 면적, 크기 등 여러 개의 독립변수에 따라 아파트 가격이라는 종속변수가 어떠한 관계를 나타내는지를 예측하고 모델링하는 것 즉, 수치를 예측할 때 사용한다.
개요 캐글 데이터를 불러오는 방법에 대해 숙지한다. 머신러닝의 일반적인 내용에 대해 숙지한다. I. 사전 준비작업 Kaggle API 설치 및 연동해서 GCP에 데이터를 적재하는 것까지 진행한다. (1) Kaggle API 설치 구글 코랩에서 API를 불러오려면 다음 소스코드를 실행한다. !pip install kaggle Requirement already satisfied: kaggle in /usr/local/lib/python3.6/dist-packages (1.5.6) Requirement already satisfied: urllib3<1.25,>=1.21.1 in /usr/local/lib/python3.6/dist-packages (from kaggle) (1.24.3) Requirement already satisfied: certifi in /usr/local/lib/python3.6/dist-packages (from kaggle) (2020.6.20) Requirement already satisfied: tqdm in /usr/local/lib/python3.6/dist-packages (from kaggle) (4.
대회 소개 삼성카드 데이터분석 공모전이 시행되고 있다. 대회에 처음 참여하는 아시아경제-수강생들을 위해 일종의 가이드라인으로 제안하고자 한다. 본 포스트에서는 기본적인 내용만 전달하고자 함을 밝힌다. Track2 과정은 마케팅 전략 제안이 중요하다! 환경 세팅 먼저, 데이터가 모두 한글로 구성이 되어 있기 때문에 한글파일 설정부터 진행한다. 한글파일 설정이 완료되면 구글 드라이브와 연동한다. 데이터 시각화를 진행한다. %config InlineBackend.figure_format = 'retina' !sudo apt-get -qq -y install fonts-nanum The following package was automatically installed and is no longer required: libnvidia-common-440 Use 'apt autoremove' to remove it.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 데이터 개요 German Credit Card를 활용하여 데이터를 가공하도록 한다. 데이터셋에 대한 설명은 Kaggle에서 확인한다. import pandas as pd print(pd.__version__) 1.0.5 url = 'https://raw.githubusercontent.com/chloevan/kaggle2portpolio/master/datasets/german_credit_data.csv' german_credit = pd.read_csv(url) german_credit.head(3) Unnamed: 0 Age Sex Job Housing Saving accounts Checking account Credit amount Duration Purpose 0 0 67 male 2 own NaN little 1169 6 radio/TV 1 1 22 female 2 own little moderate 5951 48 radio/TV 2 2 49 male 1 own little NaN 2096 12 education Pandas DataFrame은 Index와 나머지 열로 구성이 되어 있다.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 파이썬을 활용한 공간 시각화에 대해 기술하도록 한다. 각 패키지의 쓰임새와 용도를 확인하도록 한다. 예제를 통해 확인한 뒤, 국내 데이터를 적용해보도록 한다. 한글 폰트상의 문제점 외에 다른 문제점은 없는지 확인해본다. 우선 참고한 자료는 아래와 같다.
공지 제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다.
시각화 기본적 원리 비교, 대조, 차이를 드러내라. 인과관계와 상관관계를 보여라. 한 도표에 여러 변수를 보여라. 텍스트, 숫자, 이미지, 그래프 같은 데이터들을 한 곳에 통합하라. 사용된 데이터의 출처를 그래프 안이나 각주로 밝혀라. 의미 있는 내용을 담아라. 데이터 시각화를 정말 잘하고 싶다면, 책을 구매하는 것을 추천한다.
개요 교차검증의 의미를 이해한다. 교차검증을 위한 간단한 실습을 진행한다. 교차검증이란 교차검증은 기본적으로 과적합을 예방하기 위한 방법론 중 하나이다. 교차검증을 쉽게 이해하는 방법은 수능시험을 보기 위해 수능과 비슷한 유형의 모의고사를 보는 것과 같다. (1) K폴드 교차검증 개요 데이터의 수가 적을 때 사용한다. 검증 데이터의 수도 적기 때문에 검증 성능의 신뢰도가 떨어진다. 이 때, K-폴드 방법을 사용한다. 그림을 보며 이해하자. 데이터의 편향을 방지하기 위한 것 데이터를 K개로 나누어 K-1개를 분할하고 나머지는 평가에 사용 모델의 검증 점수는 K개의 검증 점수 평균이 된다.
개요 사이킷런(scikit-learn)은 파이썬 머신러닝 라이브러리이다. 파이썬에서 나오는 최신 알고리즘들도 이제는 사이킷런에 통합하는 형태로 취하고 있다. 구글 코랩은 기본적으로 사이킷런까지 설치가 완료되기에 별도의 설치가 필요없는 장점이 있다. Note: 본 포스트는 머신러닝 자체를 처음 접하는 분들을 위한 것이기 때문에, 어느정도 경험이 있으신 분들은 필자의 다른 포스트를 읽어주시기를 바랍니다. 패키지 불러오기 패키지는 시간에 지남에 따라 계속 업그레이드가 되기 때문에 꼭 버전 체크를 하는 것을 권장한다. 필자가 글을 남겼을 때는 2020년 8월 16일에 작성했음을 기억하자.
개요 사이킷런(scikit-learn)은 파이썬 머신러닝 라이브러리이다. 파이썬에서 나오는 최신 알고리즘들도 이제는 사이킷런에 통합하는 형태로 취하고 있다. 구글 코랩은 기본적으로 사이킷런까지 설치가 완료되기에 별도의 설치가 필요없는 장점이 있다. Note: 본 포스트는 머신러닝 자체를 처음 접하는 분들을 위한 것이기 때문에, 어느정도 경험이 있으신 분들은 필자의 다른 포스트를 읽어주시기를 바랍니다. 패키지 불러오기 패키지는 시간에 지남에 따라 계속 업그레이드가 되기 때문에 꼭 버전 체크를 하는 것을 권장한다. 필자가 글을 남겼을 때는 2020년 8월 16일에 작성했음을 기억하자.
개요 제 개인 참조하려고 만든 게시글입니다. 언제나 좋은 글 및 싸이트, 패키지를 만들어 배포하는 모든 Data Scientist, Analyst 분들 존경합니다. (1) Tools R with Google Colab 이미지 다운로더 I. 머신러닝/딥러닝 관련 자료 (1) 머신러닝 XGBoost Lightgbm Documentation: https://lightgbm.readthedocs.io/en/latest/ LightGBM R-Packages Regression metrics review I Weighted Median Evaluation Metrics for Classification Problems: Quick Examples + References Decision Trees: “Gini” vs. “Entropy” criteria Understanding ROC curves Learning to Rank using Gradient Descent Overview of further developments of RankNet RankLib Learning to Rank Overview Clustering Complete Machine Learning Guide to Parameter Tuning in Gradient Boosting (GBM) in Python Matrix Factorization Overview of Matrix Decomposition methods (sklearn) t-SNE Multicore t-SNE implementation Comparison of Manifold Learning methods (sklearn) How to Use t-SNE Effectively (distill.