Google Colab

데이콘 대회 참여 - 03 데이터 샘플링과 종속변수 로그변환

공지 제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다. 사전작업 먼저 구글 코랩 내에서 pandas_profiling을 확인하기 위해 master.zip을 설치한다. ref. https://github.com/pandas-profiling/pandas-profiling 설치가 끝나면 구글코랩에서 런타임 다시 시작 한다. !pip install https://github.com/pandas-profiling/pandas-profiling/archive/master.zip Collecting https://github.com/pandas-profiling/pandas-profiling/archive/master.zip Using cached https://github.com/pandas-profiling/pandas-profiling/archive/master.zip . . . Successfully built pandas-profiling I. 빅쿼리 연동 지난 시간에 데이콘에서 내려받은 데이터를 빅쿼리에 넣는 작업을 진행하였다.

데이콘 대회 참여 - 02 GBM을 활용한 머신러닝 예제

공지 제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다. 개요 본 예제에서는 제주 빅데이터 경진대회에서 제공하는 베이스라인 코드를 살려서 작성하였다. 처음 대회를 입문하는 데 있어서, 빠르게 제출하는 것에 의미부여를 하기 바란다. 참조: https://dacon.io/competitions/official/235615/codeshare/1228 다만, 데이터를 불러오는 영역 및 머신러닝 모형 알고리즘만 조금 수정하였다. 향후 매일 업데이트 하면서 일종의 가이드라인이 되었으면 좋겠다.

Google Colab with R

I. 들어가며 빅데이터 시대에 맞춰서 다양한 툴이 나오는 가운데, Google Colab은 가히 혁명적이라 할 수 있다. 과거 높은 사양의 컴퓨터에서만 수행할 수 있었던 머신러닝과 딥러닝을 구글 코랩의 환경에서 무료로 배울 수 있는 기회를 구글이 제공하기 시작했다. 간단하게 아래 소스코드를 실행하여 CPU와 GPU의 연산속도를 비교 해보자. GPU를 사용한 TensorFlow II. Google Colab with R Google Colab은 매우 편리하다. 실제 강의를 시작하면서 파이썬 관련 모든 강의안은 Google Colab으로 제작중이다. 문제는 현재로써는 Google Colab만 지원한다는 점이다.

Google Colab Intro

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 I. 들어가며 빅데이터 시대에 맞춰서 다양한 툴이 나오는 가운데, Google Colab은 가히 혁명적이라 할 수 있다. 과거 높은 사양의 컴퓨터에서만 수행할 수 있었던 머신러닝과 딥러닝을 구글 코랩의 환경에서 무료로 배울 수 있는 기회를 구글이 제공하기 시작했다.

Kakao Arena 3 EDA on Google Colab

공지 제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다. 이전 포스트인 Colab + Drive + Github Workflow 실전 테스트용으로 생각하면서 읽어주기를 바란다. I. 개요 프로젝트 폴더 내에서 간단하게 EDA를 실습하는 시간을 갖도록 한다. 관련 패키지는 우선 다른 곳에서 설치 되었다는 것을 가정한다. 참고: Python Package Settings on Google Colab 본 포스트의 핵심은 환경설정이 Google Colab + Drive내에서 작업하는 것이다.

Colab + Drive + Github Workflow

공지 제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다. I. 동기 부여 및 개요 Google Colab을 알게 된 이후에, 모든 파일을 가급적 여기에서 작성을 한다. Why? 첫째, GPU를 무료로 사용할 수 있다. 둘째, 맥북에어의 저용량을 쓰는 나에게 있어, 시스템 파일 등을 Local로 내려받는데 버거움이 있다. 셋째, 온라인 강의 및 책을 협업해서 써야 하는데, 각 Local 환경을 구축하는 번거로움을 없애고 싶었다.

Python Package Settings on Google Colab

공지 제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다. I. 개요 교육상, 최근 kaggle 및 국내 경진 대회에 참여할 일이 생겼다. 실습을 해보니, 매번 패키지와 파일을 다운로드 받는 것이 많이 불편했다. 파일을 열 때마다, !pip install name_of_package을 실행해야 하는 번거로움이 있다. 이러한 해결책으로 파이썬 패키지를 Google Colab에 영구적(Permantly)으로 설치하는 것을 실습한다.

competition - M5 EDA

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 공지 제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다. I. 개요 Kaggle에서 데이터를 다운로드 하는 방법에 대해서는 생략한다.

Kaggle with Google Colab

공지 제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다. I. 개요 Kaggle 대회에서 나오는 데이터의 용량은 작은 편은 아니다. 성능이 적은 노트북을 사용해야 하는 경우라면 Google Colab을 사용해야 한다. 이 때, Kaggle 데이터를 Google Colab으로 다운로드 받는 과정에 대해 기술 하려고 한다. II. 캐글 계정에서 해야 할 것 먼저 본인의 계정에서 API Token을 다운로드 받는다.