I. 구글 클라우드 설정 본격적인 빅쿼리 실습에 앞서서, Python과 연동하는 예제를 준비하였다. 빅쿼리 시작에 앞서서 선행적으로 클라우드 사용을 해야 한다. 만약 GCP 프로젝트가 없다면, 계정을 연동한다. Go to Cloud Resource Manager 그리고, 비용결제를 위한 카드를 등록한다. Enable billing 마지막으로 BigQuery API를 사용해야 하기 때문에 빅쿼리 API 사용허가를 내준다.Enable BigQuery 위 API를 이용하지 않으면 Python 또는 R과 연동해서 사용할 수는 없다. 자주 쓰는것이 아니라면 비용은 거의 발생하지 않으니 염려하지 않아도 된다. 비용관리에 대한 자세한 내용은 BigQuery 권장사항: 비용 관리에서 확인하기를 바란다.

1줄 요약 터미널에서 R 실행이 안된다면 PATH를 설정한다. 문제 상황 MacOS 터미널에서 R을 실행하고 싶은데, 가끔 아래와 같은 에러 메시지가 나올때가 있다. $ R bash: R: command not found 문제 해결 이는 환경설정 문제이다. 즉, 이러한 경우에는 여러 솔루션이 있다. Ref. Running R from Mac OSX terminal 그 중에서 필자는 Fourth Solution: 선택하였다. $ export PATH="/Library/Frameworks/R.framework/Resources:$PATH" 그 후에 terminal에서 which R을 실행해본다. 아래와 같이 정상적으로 출력이 된다면, 환경설정은 잘 된 것이다.

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 1줄 요약 Pandas에서 데이터 형변환은 astype로 끝낸다. 참고자료 astype에 대한 공식 문서를 살펴본다. 참고자료: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.astype.html 예제 가상의 temp 데이터를 만든다. 모두 0, 1, 2 데이터이지만 각 데이터 타입은 모두 다르다. import pandas as pd temp = pd.

1줄 요약 공식 문서를 한번 읽어보도록 합니다. Why? 한글 사용자에게 인코딩은 언제나 어렵습니다. 한글 깨져요… 그리고 파이썬의 기본 인코딩은 ASCII라 합니다. How to use 임의의 .py 파일에서 다음과 같이 시작을 합니다. #!/usr/bin/python # -*- coding: utf-8 -*- import os, sys ... 첫줄은 /usr/bin에 있는 파이썬에서 실행한다는 의미. 경로는 각자의 코드에서 수정 가능 두번째 줄은 File Encoding 형식을 지정 참조: Unicode & Character Encodings in Python: A Painless Guide References Defining the Encoding, https://www.

1줄 요약 데이터 분석을 위한 SQL 레시피 교재를 빅쿼리에서 활용해본다. 책 소개 블로그 글 중 잘 정리된 글이 있어 소개합니다. 빅데이터책: 데이터 분석을 위한 SQL 레시피 읽어보았습니다. 실습 준비 도서의 부록/예제소스를 다운로드 하세요. 예제 소스 코드를 열어봅니다. sql 소스코드로 구성이 되어 있는 것을 확인할 수 있습니다. 저자가 말하는 샘플 데이터 내용은 아래와 같습니다. 이번에는 임의의 SQL 파일을 열어서 확인하도록 합니다. 위 이미지에서 보면, Table을 생성하는 형태로 구성이 되어 있는 것을 알 수 있습니다.

1줄 요약 캐글 데이터를 빅쿼리에 넣어보 캐글 데이터 다운로드 캐글 데이터를 다운로드 받습니다. !pip install kaggle Requirement already satisfied: kaggle in /usr/local/lib/python3.7/dist-packages (1.5.12) Requirement already satisfied: six>=1.10 in /usr/local/lib/python3.7/dist-packages (from kaggle) (1.15.0) Requirement already satisfied: requests in /usr/local/lib/python3.7/dist-packages (from kaggle) (2.23.0) Requirement already satisfied: urllib3 in /usr/local/lib/python3.7/dist-packages (from kaggle) (1.24.3) Requirement already satisfied: certifi in /usr/local/lib/python3.7/dist-packages (from kaggle) (2020.12.5) Requirement already satisfied: python-dateutil in /usr/local/lib/python3.7/dist-packages (from kaggle) (2.8.1) Requirement already satisfied: tqdm in /usr/local/lib/python3.

1줄 요약 클래스를 직접 구현하면서 Attributes & Methods의 차이점에 대해 이해한다. 개요 기본적인 클래스 등을 작성해본다. class Customer: pass class <name>: 클래스의 이름을 정의함 만약, pass를 입력하면 하나의 empty 클래스를 생성하는 것이다. 이렇게 생성된 클래스는 여러개의 인스턴스를 만들 수 있음 c1 = Customer() c2 = Customer() Methods 추가 이번에는 간단한 method를 추가한다. class Customer: def identify(self, name): print("저는 소비자 " + name + " 입니다.") 함수 작성 시에는 self를 가장 먼저 입력한다.

1줄 요약 Attributes & Methods의 차이점에 대해 이해한다. 개요 Object = State + Behavior 예) Email, Phone Number, 배송상태 Class는 일종의 가이드라인을 의미 파이썬 내의 모든 객체는 일종으 클래스임 Object Class 7 int “Hello” str pd.DataFrame() DataFrame 해당 클래스를 찾기 위해 type( )를 사용함. import numpy as np temp = np.array([1, 2, 3]) print(type(temp)) <class 'numpy.ndarray'> State + Behavior 그렇다면, State를 지칭하는 파이썬 문법은 무엇인가? 파이썬에서는 이를 Attributes라고 부른다. 또한, Behavior를 지칭하는 파이썬 문법은 무엇인가?

인프런 강의 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 1줄 요약 (GCP) GKE를 활용하여 nginx를 실행해보자. Step 1. GCP Shell 활성화 You can list the active account name with this command: (your_project_id)$ gcloud auth list Credentialed Accounts ACTIVE ACCOUNT * student-04-e46af1f1cd7b@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT` You can list the project ID with this command: (your_project_id)$ gcloud config list project [core] project = qwiklabs-gcp-04-79efc1e4ae0f Your active configuration is: [cloudshell-24251] Step 2.

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 1줄 요약 오픈 데이터로 활용하여 시계열 데이터를 확보해보자. 동기 부여 Pandas 공식 홈페이지가 살짝 바뀐 듯 하였다. 시계열 데이터를 다루는 페이지를 확인하던 중 open air quality data API가 있는 것을 확인하였다. Github: https://github.com/dhhagan/py-openaq 라이브러리 설치 라이브러리 설치는 비교적 간단하다.