강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 새로운 학생들과 Kaggle 경진대회를 나가게 되었다. 참여 경진대회 VinBigData Chest X-ray Abnormalities Detection 기존에는 주로 Google Colab에서 했지만, 대용량 데이터부터 터미널로 다운로드 받아야 한다. 핵심 문장 kaggle.json 파일을 각 OS에 맞게 옮긴다. Kaggle API 다운로드 계정 [Profile]-[My Account]를 클릭 후, 아래 화면에서 Kaggle API를 다운로드 받는다.

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 공지 현재 책 출판 준비 중입니다. 구체적인 설명은 책이 출판된 이후에 요약해서 올리도록 합니다. 이전 글 Kaggle Feature Engineering - House Price URL: https://dschloe.github.io/kaggle/kaggle_feature_engineering/ 이전 글에서, Kaggle API, Feature Engineering에 대한 코드를 정리했으니, 참고하기를 바란다.

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 공지 현재 책 출판 준비 중입니다. 구체적인 설명은 책이 출판된 이후에 요약해서 올리도록 합니다. Kaggle API Kaggle API를 활용한 데이터를 수집하는 예제는 Feature Engineering with Housing Price Prediction - Numerical Features 에서도 확인할 수 있기 때문에 생략 합니다.

개요 M1에서 GPU를 활용한 딥러닝을 수행하는 예제 코드를 구현해봤다. 참고: M1 tensorflow Test Preview Apple 공식 Repo대로 설치를 하면 잘 될 것이라 생각했지만, 생각지 못한 복병을 만났다. 어떻게 해결했는지 그 과정에 대해 잠깐 기술하려고 한다. Rosetta 너는 누구니? 그동안 맥북은 인텔 기반의 Mac 프로세서를 사용해왔고, M1은 애플이 개발한 프로세서를 처음 도입한 것이다. 그런데, 이게 왜 문제가 되는 것일까?

개요 M1에서 Tensorflow 테스트를 진행해본다. 현재 M1 시스템 환경은 아래와 같다. (2021-01-16) 주의: 텐서플로 공식 버전은 아님 라이브러리 설치 다음 코드를 설치해본다. Apple 공식 Repo: https://github.com/apple/tensorflow_macos 실행 전, 필수 체크 사항 macOS 11.0+ Python 3.8, available from the Xcode Command Line Tools $ /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/apple/tensorflow_macos/master/scripts/download_and_install.sh)" Installation script for pre-release tensorflow_macos 0.1alpha1. Please visit https://github.com/apple/tensorflow_macos for instructions and license information. This script will download tensorflow_macos 0.1alpha1 and needed binary dependencies, then install them into a new or existing Python 3.

공지 구글 빅쿼리 책 Chapter 4장 학습 참고 교재는 아래와 같다. 개요 로컬에서 데이터를 업로드 해본다. 데이터 다운로드 깃허브에서 데이터를 다운로드 받는다. $ git clone https://github.com/onlybooks/bigquery.git ch04 폴더로 이동한 뒤, 실제 압축된 파일의 내용을 페이지 단위로 확인해본다. 먼저 ch04 폴더로 이동한다. zlees 명령으로 데이터를 확인해본다. $ cd bigquery/ch04 $ zless college_scorecard.csv.gz 명령을 실행한 후 스페이스 이용하여 페이지 단위로 데이터 확인 후, 종료하려면 q키를 누른다. zless는 .gz과 같은 파일을 풀지 않고 Preview 형식으로 볼 수 있도록 도와준다.

개요 MacOS m1, Big Sur에서 gcloud 환경 세팅을 해본다. 목표는 gcloud를 설치 한 뒤, 신규 프로젝트를 설치하도록 한다. gcloud projects list 현재 active project를 실행하여 보여주는 명령어를 실행하여 확인한다. 프로젝트는 각 계정마다 조금씩 다를 수 있다. $ gcloud projects list PROJECT_ID NAME PROJECT_NUMBER biggquerysample biggquerysample 826877287968 New gcloud projects 이제 새로운 프로젝트를 만들어본다. $ gcloud projects create bigquerysample2 Create in progress for [https://cloudresourcemanager.googleapis.com/v1/projects/your_project_name]. Waiting for [your_number_will_be_created] to finish...done. Enabling service [cloudapis.

개요 MacOS m1, Big Sur에서 gcloud 환경 세팅을 해본다. 목표는 gcloud를 설치 한 뒤, 신규 프로젝트를 설치하도록 한다. Cloud SDK 시작 전 MacOS에서는 Python이 필요하다. 지원되는 버전은 Python3(권장, 3.5 ~ 3.8) 및 Python 2 (2.7.9) 이상이다. 만약 Python이 설치되지 않았다면 추가로 설치를 진행해야 한다. https://www.python.org/ Cloud SDK 시작 필요한 파일 및 설치 참고 자료는 공식홈페이지: 빠른 시작: Cloud SDK 시작하기 에서 확인한다. 압축 파일을 풀고 해당 경로로 이동한다. 이 때, 환경문제가 발생할 수 있으니, 가급적 .

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 수강생 중 1명이 캐글 경진대회에 참여하고 있는데, 시각화의 어려움을 같이 해결하면서 팁을 공유한다. 도구: Python + Seaborn + Matplotlib 캐글 데이터: https://www.kaggle.com/c/kaggle-survey-2020/notebooks?competitionId=23724&sortBy=voteCount 캐글 데이터 연동 캐글 데이터를 구글 드라이브에 업로드 한 뒤 구글 코랩과 연동한다.

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 산점도 그래프 산점도는 두 수치형 변수의 분포를 비교하고 두 변수 사이에 상관 관계가 있는지 여부를 확인하는 데 사용됩니다. 데이터 내에 구별되는 군집/분할이 있으면 산점도에서도 명확해집니다. (1) 라이브러리 불러오기 필요한 라이브러리를 불러옵니다. import matplotlib.pyplot as plt import numpy as np import seaborn as sns (2) 데이터 생성 이번에는 seaborn 패키지 내 tips 데이터를 활용합니다.