개요 교차검증의 의미를 이해한다. 교차검증을 위한 간단한 실습을 진행한다. 교차검증이란 교차검증은 기본적으로 과적합을 예방하기 위한 방법론 중 하나이다. 교차검증을 쉽게 이해하는 방법은 수능시험을 보기 위해 수능과 비슷한 유형의 모의고사를 보는 것과 같다. (1) K폴드 교차검증 개요 데이터의 수가 적을 때 사용한다. 검증 데이터의 수도 적기 때문에 검증 성능의 신뢰도가 떨어진다. 이 때, K-폴드 방법을 사용한다. 그림을 보며 이해하자. 데이터의 편향을 방지하기 위한 것 데이터를 K개로 나누어 K-1개를 분할하고 나머지는 평가에 사용 모델의 검증 점수는 K개의 검증 점수 평균이 된다.
개요 사이킷런(scikit-learn)은 파이썬 머신러닝 라이브러리이다. 파이썬에서 나오는 최신 알고리즘들도 이제는 사이킷런에 통합하는 형태로 취하고 있다. 구글 코랩은 기본적으로 사이킷런까지 설치가 완료되기에 별도의 설치가 필요없는 장점이 있다. Note: 본 포스트는 머신러닝 자체를 처음 접하는 분들을 위한 것이기 때문에, 어느정도 경험이 있으신 분들은 필자의 다른 포스트를 읽어주시기를 바랍니다. 패키지 불러오기 패키지는 시간에 지남에 따라 계속 업그레이드가 되기 때문에 꼭 버전 체크를 하는 것을 권장한다. 필자가 글을 남겼을 때는 2020년 8월 16일에 작성했음을 기억하자.
개요 사이킷런(scikit-learn)은 파이썬 머신러닝 라이브러리이다. 파이썬에서 나오는 최신 알고리즘들도 이제는 사이킷런에 통합하는 형태로 취하고 있다. 구글 코랩은 기본적으로 사이킷런까지 설치가 완료되기에 별도의 설치가 필요없는 장점이 있다. Note: 본 포스트는 머신러닝 자체를 처음 접하는 분들을 위한 것이기 때문에, 어느정도 경험이 있으신 분들은 필자의 다른 포스트를 읽어주시기를 바랍니다. 패키지 불러오기 패키지는 시간에 지남에 따라 계속 업그레이드가 되기 때문에 꼭 버전 체크를 하는 것을 권장한다. 필자가 글을 남겼을 때는 2020년 8월 16일에 작성했음을 기억하자.
개요 Kaggle 대회인 `Titanic’대회를 통해 분류 모형을 만들어본다. 본 강의는 수업 자료의 일부로 작성되었다. I. 사전 준비작업 Kaggle API 설치 및 연동해서 GCP에 데이터를 적재하는 것까지 진행한다. (1) Kaggle API 설치 구글 코랩에서 API를 불러오려면 다음 소스코드를 실행한다. !pip install kaggle Requirement already satisfied: kaggle in /usr/local/lib/python3.6/dist-packages (1.5.6) Requirement already satisfied: requests in /usr/local/lib/python3.6/dist-packages (from kaggle) (2.23.0) Requirement already satisfied: urllib3<1.25,>=1.21.1 in /usr/local/lib/python3.6/dist-packages (from kaggle) (1.24.3) Requirement already satisfied: python-slugify in /usr/local/lib/python3.
개요 주택가격을 예측하는 데 필요한 Kaggle 데이터를 불러와서 빅쿼리에 저장하는 실습 진행 데이터를 불러와서 LightGBM를 활용하여 머신러닝을 만든다. I. 사전 준비작업 Kaggle API 설치 및 연동해서 GCP에 데이터를 적재하는 것까지 진행한다. (1) Kaggle API 설치 구글 코랩에서 API를 불러오려면 다음 소스코드를 실행한다. !pip install kaggle Requirement already satisfied: kaggle in /usr/local/lib/python3.6/dist-packages (1.5.6) Requirement already satisfied: six>=1.10 in /usr/local/lib/python3.6/dist-packages (from kaggle) (1.12.0) Requirement already satisfied: requests in /usr/local/lib/python3.6/dist-packages (from kaggle) (2.23.0) Requirement already satisfied: certifi in /usr/local/lib/python3.
I. Python 개발환경 (2020.06.20) 기준 텐서플로 자격증 시험은 PyCharm에서 실행된다. 텐서플로 버전 2.x을 사용하고, (1.x) 사용하지 않는다. 파이썬 버전은 3.7을 사용한다. 만약 현재 다른 버전을 사용한다면, 별도로 선정해야 하는 번거로움이 있다. 추가 확인 사항 우선, 인터넷 환경이 안정적이어야 한다. PyCharm 기반 구성에 대해 익숙해져야 한다. 작성 중…
I. 지도 학습 VS 비지도 학습 머신러닝은 크게 두 가지 유형으로 분류한다. 우선 아래 표를 보자.
구분 지도학습(Supervised Learning) 비지도 학습(Unsupervised Learning) 알고리즘(분석모형) 회귀분석분류모형 군집분석 특징 정답을 알고 있는 상태에서 학습모형 평가 방법이 다양한 편 정답이 없는 상태에서 서로 비슷한 데이터를 찾아서 그룹화모형 평가 방법이 제한적 지도학습(Supervised Learning)은 종속변수(Dependent Variable) 선정이 매우 중요하며. 종속변수 선정과 함께 데이터 분석도 같이 병행이 된다. 그러나 비지도학습(Unsupervised Learning)은 데이터가 많은데, 어떻게 분류하면 좋을지 모를 때 서로 비슷한 특징끼리 결합 및 그룹화 하는 것을 말한다.
I 지도 학습 VS 비지도 학습 머신러닝은 크게 두 가지 유형으로 분류한다. 우선 아래 표를 보자.
구분 지도학습(Supervised Learning) 비지도 학습(Unsupervised Learning) 알고리즘(분석모형) 회귀분석분류모형 군집분석 특징 정답을 알고 있는 상태에서 학습모형 평가 방법이 다양한 편 정답이 없는 상태에서 서로 비슷한 데이터를 찾아서 그룹화모형 평가 방법이 제한적 지도학습(Supervised Learning)은 종속변수(Dependent Variable) 선정이 매우 중요하며. 종속변수 선정과 함께 데이터 분석도 같이 병행이 된다. 그러나 비지도학습(Unsupervised Learning)은 데이터가 많은데, 어떻게 분류하면 좋을지 모를 때 서로 비슷한 특징끼리 결합 및 그룹화 하는 것을 말한다.