개요 BigQuery ML을 소개한다. BigQuery ML을 사용하면, 머신러닝 모델을 만들고 또한 실행할 수 있다. 목표 BigQuery ML에서 CREATE MODEL 문을 사용하여 선형회귀 모델 만들기 ML.EVALUATE 함수를 사용하여 ML 모델 평가 ML.PREDICT 함수를 사용하여 ML 모델 예측 주의 사항 BigQuery 비용 관련된 문서는 다음과 같다. BigQuery 가격 책정: https://cloud.google.com/bigquery/pricing BigQuery 가격 책정**:** https://cloud.google.com/bigquery-ml/pricing 1단계: 데이터 세트 만들기 데이터 세트 ID에 bqml_practice 입력 데이터 위치로 미국 US 선택 나머지는 모두 Default로 설정한다. 2단계: 모델 만들기 데이터 소개 먼저 데이터를 소개한다.
I. 구글 클라우드 설정 본격적인 빅쿼리 실습에 앞서서, Python과 연동하는 예제를 준비하였다. 빅쿼리 시작에 앞서서 선행적으로 클라우드 사용을 해야 한다.
만약 GCP 프로젝트가 없다면, 계정을 연동한다. Go to Cloud Resource Manager 그리고, 비용결제를 위한 카드를 등록한다. Enable billing 마지막으로 BigQuery API를 사용해야 하기 때문에 빅쿼리 API 사용허가를 내준다.Enable BigQuery 위 API를 이용하지 않으면 Python 또는 R과 연동해서 사용할 수는 없다. 자주 쓰는것이 아니라면 비용은 거의 발생하지 않으니 염려하지 않아도 된다. 비용관리에 대한 자세한 내용은 BigQuery 권장사항: 비용 관리에서 확인하기를 바란다.
1줄 요약 데이터 분석을 위한 SQL 레시피 교재를 빅쿼리에서 활용해본다.
책 소개 블로그 글 중 잘 정리된 글이 있어 소개합니다. 빅데이터책: 데이터 분석을 위한 SQL 레시피 읽어보았습니다. 실습 준비 도서의 부록/예제소스를 다운로드 하세요.
예제 소스 코드를 열어봅니다. sql 소스코드로 구성이 되어 있는 것을 확인할 수 있습니다.
저자가 말하는 샘플 데이터 내용은 아래와 같습니다. 이번에는 임의의 SQL 파일을 열어서 확인하도록 합니다.
위 이미지에서 보면, Table을 생성하는 형태로 구성이 되어 있는 것을 알 수 있습니다.
1줄 요약 캐글 데이터를 빅쿼리에 넣어보 캐글 데이터 다운로드 캐글 데이터를 다운로드 받습니다. !pip install kaggle Requirement already satisfied: kaggle in /usr/local/lib/python3.7/dist-packages (1.5.12) Requirement already satisfied: six>=1.10 in /usr/local/lib/python3.7/dist-packages (from kaggle) (1.15.0) Requirement already satisfied: requests in /usr/local/lib/python3.7/dist-packages (from kaggle) (2.23.0) Requirement already satisfied: urllib3 in /usr/local/lib/python3.7/dist-packages (from kaggle) (1.24.3) Requirement already satisfied: certifi in /usr/local/lib/python3.7/dist-packages (from kaggle) (2020.12.5) Requirement already satisfied: python-dateutil in /usr/local/lib/python3.7/dist-packages (from kaggle) (2.8.1) Requirement already satisfied: tqdm in /usr/local/lib/python3.
공지 구글 빅쿼리 책 Chapter 4장 학습 참고 교재는 아래와 같다. 개요 로컬에서 데이터를 업로드 해본다. 데이터 다운로드 깃허브에서 데이터를 다운로드 받는다. $ git clone https://github.com/onlybooks/bigquery.git ch04 폴더로 이동한 뒤, 실제 압축된 파일의 내용을 페이지 단위로 확인해본다. 먼저 ch04 폴더로 이동한다. zlees 명령으로 데이터를 확인해본다. $ cd bigquery/ch04 $ zless college_scorecard.csv.gz 명령을 실행한 후 스페이스 이용하여 페이지 단위로 데이터 확인 후, 종료하려면 q키를 누른다. zless는 .gz과 같은 파일을 풀지 않고 Preview 형식으로 볼 수 있도록 도와준다.
개요 MacOS m1, Big Sur에서 gcloud 환경 세팅을 해본다. 목표는 gcloud를 설치 한 뒤, 신규 프로젝트를 설치하도록 한다. gcloud projects list 현재 active project를 실행하여 보여주는 명령어를 실행하여 확인한다. 프로젝트는 각 계정마다 조금씩 다를 수 있다. $ gcloud projects list PROJECT_ID NAME PROJECT_NUMBER biggquerysample biggquerysample 826877287968 New gcloud projects 이제 새로운 프로젝트를 만들어본다. $ gcloud projects create bigquerysample2 Create in progress for [https://cloudresourcemanager.googleapis.com/v1/projects/your_project_name]. Waiting for [your_number_will_be_created] to finish...done. Enabling service [cloudapis.
개요 MacOS m1, Big Sur에서 gcloud 환경 세팅을 해본다. 목표는 gcloud를 설치 한 뒤, 신규 프로젝트를 설치하도록 한다. Cloud SDK 시작 전 MacOS에서는 Python이 필요하다. 지원되는 버전은 Python3(권장, 3.5 ~ 3.8) 및 Python 2 (2.7.9) 이상이다. 만약 Python이 설치되지 않았다면 추가로 설치를 진행해야 한다. https://www.python.org/ Cloud SDK 시작 필요한 파일 및 설치 참고 자료는 공식홈페이지: 빠른 시작: Cloud SDK 시작하기 에서 확인한다. 압축 파일을 풀고 해당 경로로 이동한다. 이 때, 환경문제가 발생할 수 있으니, 가급적 .
I. Python 개발환경 (2020.06.20) 기준 텐서플로 자격증 시험은 PyCharm에서 실행된다. 텐서플로 버전 2.x을 사용하고, (1.x) 사용하지 않는다. 파이썬 버전은 3.7을 사용한다. 만약 현재 다른 버전을 사용한다면, 별도로 선정해야 하는 번거로움이 있다. 추가 확인 사항 우선, 인터넷 환경이 안정적이어야 한다. PyCharm 기반 구성에 대해 익숙해져야 한다. 작성 중…
I. 구글 클라우드 설정 본격적인 빅쿼리 실습에 앞서서, Python과 연동하는 예제를 준비하였다. 빅쿼리 시작에 앞서서 선행적으로 클라우드 사용을 해야 한다.
만약 GCP 프로젝트가 없다면, 계정을 연동한다. Go to Cloud Resource Manager 그리고, 비용결제를 위한 카드를 등록한다. Enable billing 마지막으로 BigQuery API를 사용해야 하기 때문에 빅쿼리 API 사용허가를 내준다.Enable BigQuery 위 API를 이용하지 않으면 Python 또는 R과 연동해서 사용할 수는 없다. 자주 쓰는것이 아니라면 비용은 거의 발생하지 않으니 염려하지 않아도 된다. 비용관리에 대한 자세한 내용은 BigQuery 권장사항: 비용 관리에서 확인하기를 바란다.
I. 구글 클라우드 설정 본격적인 빅쿼리 실습에 앞서서, Python과 연동하는 예제를 준비하였다. 빅쿼리 시작에 앞서서 선행적으로 클라우드 사용을 해야 한다.
만약 GCP 프로젝트가 없다면, 계정을 연동한다. Go to Cloud Resource Manager 그리고, 비용결제를 위한 카드를 등록한다. Enable billing 마지막으로 BigQuery API를 사용해야 하기 때문에 빅쿼리 API 사용허가를 내준다.Enable BigQuery 위 API를 이용하지 않으면 Python 또는 R과 연동해서 사용할 수는 없다. 자주 쓰는것이 아니라면 비용은 거의 발생하지 않으니 염려하지 않아도 된다. 비용관리에 대한 자세한 내용은 BigQuery 권장사항: 비용 관리에서 확인하기를 바란다.