강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 수강생들의 머신러닝을 활용한 웹 개발 프로젝트 전 복습 차원에서 준비함. 주 내용은 주요 참고자료를 기반으로 작성하였으며, 참고자료에 없는 코드는 직접 작성하였음을 밝힘. 가장 인기 있는 모델 XGBoost와 LightGBM 그 외, 선형회귀, 로지스틱 회귀, 결정 트리, 앙상블 학습, 랜덤 포레스트, XGBoost, LightGBM 선형 회귀 선형 회귀식을 활용한 모델 회귀 계수와 절편을 찾는 것이 중요 기초통계에서 다루는 선형 회귀와 기본적인 개념에서는 동일하나, 기초통계에서와 예측 모델에서의 쓰임새는 다르다는 것을 기억한다.
용어 정리 영어로는 confusion matrix로 불리우지만, 번역하면서 다양한 단어가 등장하고 있다. 오차행렬, 혼동행렬 제목은 오차행렬이라고 표현했지만, 영어 단어를 그대로 살려 confusion matrix라고 활용한다. Confusion Matrix 분류 모형을 통해 머신러닝을 학습하게 되면 confusion matrix 표를 우선 작성하게 된다. 이 표에서 무엇을 볼 수 있는가?
우선 전체 데이터의 크기를 확인할 수 있다. (165명) 예측값 YES는 (100+10) 110명이고, 예측값 NO는 (50+5) 55명이다. 실제값 YES는 (100+5) 105명이고, 실제값 NO는 (50+10) 60명이다. 기본 영어를 정의해본다.
공지 본 소스코는 교재 파이썬 머신러닝 완벽 가이드 코드를 제 수업을 드는 학생들이 보다 편하게 구글 코랩에서 사용할 수 있도록 만든 예제입니다. 책 구매하세요! http://www.yes24.com/Product/Goods/87044746?OzSrank=1 Gradient Boosting Machine 이제 GBM에 대해 학습하도록 합니다. GBM에 대해 이해하기 위해서는 경사하강법에 대해 배워야 합니다. 경사하강법은 쉽게 말하면 가장 적은 오차를 찾아가는 방법론 중이 하나입니다. 자세한 내용은 유투 강의를 들어주시기를 바랍니다. (Gradient Descent, Step-by-Step) 위 이론을 sklearn에서 구현한 것이며, 이 이론을 기반으로 다양한 알고리즘이 개발 되어 있습니다.
공지 본 포스트는 교재 파이썬 머신러닝 완벽 가이드 코드를 제 수업을 드는 학생들이 보다 편하게 구글 코랩에서 사용할 수 있도록 만든 예제입니다. 책 구매하세요! http://www.yes24.com/Product/Goods/87044746?OzSrank=1 Random Forest 랜덤 포레스트의 개요
배깅의 대표적인 알고리즘 랜덤 포레스트는 개별 트리가 학습하는 데이터 세트는 전체 데이터에서 일부가 중첩되게 샘플링 된 데이터 세트 부트스트래핑 부할 방식 채택 참고 강의 이론 https://www.youtube.com/watch?v=Z97uDTsvojY https://www.youtube.com/watch?v=J4Wdy0Wc_xQ !wget https://archive.ics.uci.edu/ml/machine-learning-databases/00240/UCI%20HAR%20Dataset.zip !unzip 'UCI HAR Dataset.zip' !mv UCI\ HAR\ Dataset human_activity --2020-11-27 05:21:51-- https://archive.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 Feature Engineering를 이해하고 실습한다. 결측치를 처리한다 Categorical Feature를 다룬다. I. 사전 준비작업 Kaggle API 설치 후 데이터를 Kaggle에서 직접 가져오는 것을 구현한다. (1) Kaggle API 설치 구글 코랩에서 API를 불러오려면 다음 소스코드를 실행한다. !
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 Feature Engineering를 이해하고 실습한다. 결측치를 처리한다 Categorical Feature를 다룬다. I. 사전 준비작업 Kaggle API 설치 후 데이터를 Kaggle에서 직접 가져오는 것을 구현한다. (1) Kaggle API 설치 구글 코랩에서 API를 불러오려면 다음 소스코드를 실행한다. !
There are a number of ways to validate second level models (meta-models). In this reading material you will find a description for the most popular ones. If not specified, we assume that the data does not have a time component. We also assume we already validated and fixed hyperparameters for the first level models (models).
Simple holdout scheme Split train data into three parts: partA and partB and partC. Fit N diverse models on partA, predict for partB, partC, test_data getting meta-features partB_meta, partC_meta and test_meta respectively.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 Feature Engineering를 이해하고 실습한다. 결측치를 처리한다. I. 사전 준비작업 Kaggle API 설치 후 데이터를 Kaggle에서 직접 가져오는 것을 구현한다. (1) Kaggle API 설치 구글 코랩에서 API를 불러오려면 다음 소스코드를 실행한다. !pip install kaggle Requirement already satisfied: kaggle in /usr/local/lib/python3.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 확률기초이론 이산확률분포: 베르누이분포, 이항분포, 포아송분포 연속확률분포: 정규분포, 카이제곱분포, t-분포, F-분포 확률이란? 경험 또는 실험의 결과로 특정한 사건(event)이나 결과가 발생할 가능성 예1) 주사위 던져서 1이 나올 가능성 1/6 예2) 비가 올 가능성 30% (1) 확률의 정의 사건 A의 확률 = $\frac{n(A)}{N}$ N = 표본공간(=sample space) = 특정 실험에서 일어날 수 있는 모든 가능성
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 통계분석을 활용한 문제해결 과정 비즈니스에서 통계는 그저 툴이다. 통계를 몰라도 물건을 파는데 전혀 문제가 없다. 통계는 객관적인 근거를 확보하여 유효한 의사결정을 내리기 위한 그저 도구 (Tool) 이다. 따라서, 마케팅이나 CRM과 같은 경영이슈에서도 통계는 문제해결을 이한 체계적인 절차를 제공한다.