강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 파이썬을 활용한 공간 시각화에 대해 기술하도록 한다. 각 패키지의 쓰임새와 용도를 확인하도록 한다. 예제를 통해 확인한 뒤, 국내 데이터를 적용해보도록 한다. 한글 폰트상의 문제점 외에 다른 문제점은 없는지 확인해본다. 우선 참고한 자료는 아래와 같다.
공지 제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다.
시각화 기본적 원리 비교, 대조, 차이를 드러내라. 인과관계와 상관관계를 보여라. 한 도표에 여러 변수를 보여라. 텍스트, 숫자, 이미지, 그래프 같은 데이터들을 한 곳에 통합하라. 사용된 데이터의 출처를 그래프 안이나 각주로 밝혀라. 의미 있는 내용을 담아라. 데이터 시각화를 정말 잘하고 싶다면, 책을 구매하는 것을 추천한다.
개요 교차검증의 의미를 이해한다. 교차검증을 위한 간단한 실습을 진행한다. 교차검증이란 교차검증은 기본적으로 과적합을 예방하기 위한 방법론 중 하나이다. 교차검증을 쉽게 이해하는 방법은 수능시험을 보기 위해 수능과 비슷한 유형의 모의고사를 보는 것과 같다. (1) K폴드 교차검증 개요 데이터의 수가 적을 때 사용한다. 검증 데이터의 수도 적기 때문에 검증 성능의 신뢰도가 떨어진다. 이 때, K-폴드 방법을 사용한다. 그림을 보며 이해하자. 데이터의 편향을 방지하기 위한 것 데이터를 K개로 나누어 K-1개를 분할하고 나머지는 평가에 사용 모델의 검증 점수는 K개의 검증 점수 평균이 된다.
개요 사이킷런(scikit-learn)은 파이썬 머신러닝 라이브러리이다. 파이썬에서 나오는 최신 알고리즘들도 이제는 사이킷런에 통합하는 형태로 취하고 있다. 구글 코랩은 기본적으로 사이킷런까지 설치가 완료되기에 별도의 설치가 필요없는 장점이 있다. Note: 본 포스트는 머신러닝 자체를 처음 접하는 분들을 위한 것이기 때문에, 어느정도 경험이 있으신 분들은 필자의 다른 포스트를 읽어주시기를 바랍니다. 패키지 불러오기 패키지는 시간에 지남에 따라 계속 업그레이드가 되기 때문에 꼭 버전 체크를 하는 것을 권장한다. 필자가 글을 남겼을 때는 2020년 8월 16일에 작성했음을 기억하자.
개요 사이킷런(scikit-learn)은 파이썬 머신러닝 라이브러리이다. 파이썬에서 나오는 최신 알고리즘들도 이제는 사이킷런에 통합하는 형태로 취하고 있다. 구글 코랩은 기본적으로 사이킷런까지 설치가 완료되기에 별도의 설치가 필요없는 장점이 있다. Note: 본 포스트는 머신러닝 자체를 처음 접하는 분들을 위한 것이기 때문에, 어느정도 경험이 있으신 분들은 필자의 다른 포스트를 읽어주시기를 바랍니다. 패키지 불러오기 패키지는 시간에 지남에 따라 계속 업그레이드가 되기 때문에 꼭 버전 체크를 하는 것을 권장한다. 필자가 글을 남겼을 때는 2020년 8월 16일에 작성했음을 기억하자.
개요 제 개인 참조하려고 만든 게시글입니다. 언제나 좋은 글 및 싸이트, 패키지를 만들어 배포하는 모든 Data Scientist, Analyst 분들 존경합니다. (1) Tools R with Google Colab 이미지 다운로더 I. 머신러닝/딥러닝 관련 자료 (1) 머신러닝 XGBoost Lightgbm Documentation: https://lightgbm.readthedocs.io/en/latest/ LightGBM R-Packages Regression metrics review I Weighted Median Evaluation Metrics for Classification Problems: Quick Examples + References Decision Trees: “Gini” vs. “Entropy” criteria Understanding ROC curves Learning to Rank using Gradient Descent Overview of further developments of RankNet RankLib Learning to Rank Overview Clustering Complete Machine Learning Guide to Parameter Tuning in Gradient Boosting (GBM) in Python Matrix Factorization Overview of Matrix Decomposition methods (sklearn) t-SNE Multicore t-SNE implementation Comparison of Manifold Learning methods (sklearn) How to Use t-SNE Effectively (distill.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 Numpy ndarray 개요 넘파이 array()는 ndarray로 변환 가능 생성된 ndarray배열의 shape변수는 ndarray의 크기, 행과 열의 수를 튜플 형태로 가지고 있으며, 이를 통해 ndarray 배열의 차원까지 알 수 있음 (1) 배열이란? NumPy에서 배열은 동일한 타입의 값을 가짐 shape는 각 차원의 크기를 튜플로 표시한다.
개요 R 강의를 진행하면서 xgboost를 R로 구현하고 싶었다. kaggle에 있는 데이터를 불러와서 제출까지 가는 과정을 담았으니 입문자들에게 작은 도움이 되기를 바란다. XGBoost 개요 논문 제목 - XGBoost: A Scalable Tree Boosting System 논문 게재일: Wed, 9 Mar 2016 01:11:51 UTC (592 KB) 논문 저자: Tianqi Chen, Carlos Guestrin 논문 소개 Tree boosting is a highly effective and widely used machine learning method. In this paper, we describe a scalable end-to-end tree boosting system called XGBoost, which is used widely by data scientists to achieve state-of-the-art results on many machine learning challenges.
강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 R 입문부터 머신러닝까지 가르치게 되었다. R을 활용한 빅데이터 분석 실제 Kaggle 대회 참여 독려를 위해 R에서 Kaggle 데이터를 불러와 머신러닝을 진행하는 것을 기획하였다. pins 패키지를 활용하면 보다 쉽게 할 수 있다. (1) Kaggle API with R 먼저 [Kaggle]에 회원 가입을 한다.
Intro PLS-SEM의 분석과정에서 척도(측정변수와 잠재변수)의 신뢰도와 타당도를 확보하는 것은 매우 중요하며, 신뢰도와 타당도가 확보되지 않으면 모델 추정 결과가 의미가 없기 때문임 즉, 구조모델의 추정을 실행하려면 사전에 반드시 측정모델에 대한 평가과정을 통해 신뢰도와 타당도 확보 필요 I. 주요 개념 (1) 신뢰도 잠재변수의 측정에 있어서 얼마나 일관성이 있는가의 정도 의미 검사도구의 일관성을 말하며, 일관성이란 잠재변수를 여러 번에 걸쳐 측정했을 때 매번 같은 결과를 도출할 수 있는 정도. 내적 일관성 신뢰(Internal Consistency Reliability)로 평가 (2) 타당도 타당도의 기본 정의는 실제 측정하고자 하는 잠재변수를 정확하게 측정하고 있는 정도 PLS-SEM에서는 집중타당도(Convergent Validity)와 판별타당도(Discriminant Validity)를 사용한다.