Tutorial of Ranzcr EDA

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 Competition https://www.kaggle.com/c/ranzcr-clip-catheter-line-classification Intro Thanks to RANZCR/resnext50_32x4d starter [training] Please visit here and upvote import os import pandas as pd from matplotlib import pyplot as plt import seaborn as sns Check File Size Check Each Size of Dataset Folder in this competition train_records = 4.

Kaggle API on Mac/Linux

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 새로운 학생들과 Kaggle 경진대회를 나가게 되었다. 참여 경진대회 VinBigData Chest X-ray Abnormalities Detection 기존에는 주로 Google Colab에서 했지만, 대용량 데이터부터 터미널로 다운로드 받아야 한다. 핵심 문장 kaggle.json 파일을 각 OS에 맞게 옮긴다. Kaggle API 다운로드 계정 [Profile]-[My Account]를 클릭 후, 아래 화면에서 Kaggle API를 다운로드 받는다.

Kaggle House Price ML

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 공지 현재 책 출판 준비 중입니다. 구체적인 설명은 책이 출판된 이후에 요약해서 올리도록 합니다. 이전 글 Kaggle Feature Engineering - House Price URL: https://dschloe.github.io/kaggle/kaggle_feature_engineering/ 이전 글에서, Kaggle API, Feature Engineering에 대한 코드를 정리했으니, 참고하기를 바란다.

Kaggle Feature Engineering - House Price

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 공지 현재 책 출판 준비 중입니다. 구체적인 설명은 책이 출판된 이후에 요약해서 올리도록 합니다. Kaggle API Kaggle API를 활용한 데이터를 수집하는 예제는 Feature Engineering with Housing Price Prediction - Numerical Features 에서도 확인할 수 있기 때문에 생략 합니다.

ml 개발환경 세팅

개요 M1에서 GPU를 활용한 딥러닝을 수행하는 예제 코드를 구현해봤다. 참고: M1 tensorflow Test Preview Apple 공식 Repo대로 설치를 하면 잘 될 것이라 생각했지만, 생각지 못한 복병을 만났다. 어떻게 해결했는지 그 과정에 대해 잠깐 기술하려고 한다. Rosetta 너는 누구니? 그동안 맥북은 인텔 기반의 Mac 프로세서를 사용해왔고, M1은 애플이 개발한 프로세서를 처음 도입한 것이다. 그런데, 이게 왜 문제가 되는 것일까?

M1 tensorflow Test Preview

개요 M1에서 Tensorflow 테스트를 진행해본다. 현재 M1 시스템 환경은 아래와 같다. (2021-01-16) 주의: 텐서플로 공식 버전은 아님 라이브러리 설치 다음 코드를 설치해본다. Apple 공식 Repo: https://github.com/apple/tensorflow_macos 실행 전, 필수 체크 사항 macOS 11.0+ Python 3.8, available from the Xcode Command Line Tools $ /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/apple/tensorflow_macos/master/scripts/download_and_install.sh)" Installation script for pre-release tensorflow_macos 0.1alpha1. Please visit https://github.com/apple/tensorflow_macos for instructions and license information. This script will download tensorflow_macos 0.1alpha1 and needed binary dependencies, then install them into a new or existing Python 3.

Ch07_data_upload

공지 구글 빅쿼리 책 Chapter 4장 학습 참고 교재는 아래와 같다. 개요 로컬에서 데이터를 업로드 해본다. 데이터 다운로드 깃허브에서 데이터를 다운로드 받는다. $ git clone https://github.com/onlybooks/bigquery.git ch04 폴더로 이동한 뒤, 실제 압축된 파일의 내용을 페이지 단위로 확인해본다. 먼저 ch04 폴더로 이동한다. zlees 명령으로 데이터를 확인해본다. $ cd bigquery/ch04 $ zless college_scorecard.csv.gz 명령을 실행한 후 스페이스 이용하여 페이지 단위로 데이터 확인 후, 종료하려면 q키를 누른다. zless는 .gz과 같은 파일을 풀지 않고 Preview 형식으로 볼 수 있도록 도와준다.

Ch06_gcloud_projects

개요 MacOS m1, Big Sur에서 gcloud 환경 세팅을 해본다. 목표는 gcloud를 설치 한 뒤, 신규 프로젝트를 설치하도록 한다. gcloud projects list 현재 active project를 실행하여 보여주는 명령어를 실행하여 확인한다. 프로젝트는 각 계정마다 조금씩 다를 수 있다. $ gcloud projects list PROJECT_ID NAME PROJECT_NUMBER biggquerysample biggquerysample 826877287968 New gcloud projects 이제 새로운 프로젝트를 만들어본다. $ gcloud projects create bigquerysample2 Create in progress for [https://cloudresourcemanager.googleapis.com/v1/projects/your_project_name]. Waiting for [your_number_will_be_created] to finish...done. Enabling service [cloudapis.

Ch05_gcloud_settings

개요 MacOS m1, Big Sur에서 gcloud 환경 세팅을 해본다. 목표는 gcloud를 설치 한 뒤, 신규 프로젝트를 설치하도록 한다. Cloud SDK 시작 전 MacOS에서는 Python이 필요하다. 지원되는 버전은 Python3(권장, 3.5 ~ 3.8) 및 Python 2 (2.7.9) 이상이다. 만약 Python이 설치되지 않았다면 추가로 설치를 진행해야 한다. https://www.python.org/ Cloud SDK 시작 필요한 파일 및 설치 참고 자료는 공식홈페이지: 빠른 시작: Cloud SDK 시작하기 에서 확인한다. 압축 파일을 풀고 해당 경로로 이동한다. 이 때, 환경문제가 발생할 수 있으니, 가급적 .

Kaggle Countplot with Text using Seaborn

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 수강생 중 1명이 캐글 경진대회에 참여하고 있는데, 시각화의 어려움을 같이 해결하면서 팁을 공유한다. 도구: Python + Seaborn + Matplotlib 캐글 데이터: https://www.kaggle.com/c/kaggle-survey-2020/notebooks?competitionId=23724&sortBy=voteCount 캐글 데이터 연동 캐글 데이터를 구글 드라이브에 업로드 한 뒤 구글 코랩과 연동한다.