Data Science | DSChloe

개요

Streamlit과 Bigquery를 연동하는 코드를 구현한다.
가상환경 설정 부터 VS Code 연동까지 준비가 안되어 있다면 이전 글을 참조하기를 바란다.
만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다.

인스턴스 시작

인스턴스가 중지가 되어 있다면 다시 시작을 한다.

Untitled

BigQuery Client 라이브러리 설치

클라이언트 라이브러리를 설치한다.

pip install --upgrade google-cloud-bigquery

Untitled

개요

Windows 11에서 gcloud 설치를 진행한다.
참조 문서 : https://cloud.google.com/sdk/docs/install-sdk?hl=ko

gcloud CLI 최신 버전(445.0.0) 설치

[Google Cloud CLI 설치 프로그램] (https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe?hl=ko) 다운로드 한다.
또는 PowerShell 터미널을 열고 다음 PowerShell 명령어를 실행한다.
여기에서는 설치 프로그램을 다운로드 받아서 설치한다.

Untitled

Finish 버튼을 클릭하면 설치는 완료가 된 것이다.

gcloud 연동

위 Finish 버튼과 함께 로그인을 진행한다.

Untitled

인증절차가 시작완료되면 웹 페이지가 변경되고 터미널 환경도 변경된다.

Untitled

현재 필자의 프로젝트는 3번에 해당되기 때문에 3번을 클릭한다.

Untitled

개요

SSH Key를 이용하여 로컬에서 원격으로 GCP 프로젝트에 접속을 한다.
만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다.

SSH Key 생성하기

puTTYgen에서 public / private key 값을 생성한다.

Untitled

Generate 버튼을 클릭한다.

Untitled

Private Key를 OpenSSH 방식으로 Export 한다.
- Key Comment에 구글 계정을 입력한다.
- password도 입력한다.

Untitled

Public Key는 모두 복사한다.

GCP 메타데이터 등록

Compute Engine > 메타데이터 접속하여 SSH 키에 붙여 넣는다.

Untitled

개요

기 설치된 Compute Engine에 라이브러리를 설치하고 간단하게 Streamlit 배포를 진행한다.
만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다.
- Spark Installation with GCP (Sept. 2023)
- Compute Engine with Github in GCP

requirements.txt

Github Repo에서 Add file > Create new file을 클릭 후, 아래 주요 라이브러리를 입력한다.
- 파일명 : requirements.txt

Untitled

라이브러리명은 다음과 같다. 입력 후, Commit Changes 버튼을 클릭한다.

pyspark==3.1.1
pandas
streamlit
matplotlib

Untitled

현재 파일 목록은 아래와 같다.

Untitled

개요

Google Cloud Project에서 Github 계정을 연동하는 과정을 보여준다.
처음 GCP를 사용하는 독자분들은 이전 글을 참조해서 설정을 먼저 진행한다.
- 참조 : https://dschloe.github.io/gcp/2023/09/spark_installation_gcp/

Untitled

터미널 열기

기존 인스턴스는 중지를 시켰기 때문에 이를 다시 시작/재개 버튼을 눌러 활성화 한다.

Untitled

시작 버튼 클릭과 함께 오늘도 비용을 지불해본다.

Untitled

브라우저 창에서 열기를 진행한다.

Untitled

Git 설치

터미널에 Git을 설치하는 방법은 다음 명령어를 순차적으로 입력한다.

(base) ~$ sudo apt-get update -y
(base) ~$ sudo apt-get upgrade -y
(base) ~$ sudo apt install git
(base) ~$ git --version

Git Repo 생성

Github에서 Repo를 만든다. (Repo : mulcampFP)
- 보안을 위해 Private으로 지정한다.

Untitled

개요

Spark를 구글 클라우드에 설치하도록 한다.
프로젝트 시작부터 진행한다.

프로젝트 시작

본 화면에서 새로운 프로젝트를 시작한다.
프로젝트명 : mulcampFP

Untitled

VM 시작하기

VM 만들기를 클릭한다.

Untitled

활성 결제 계정이 없으면 결제계정을 등록한다.

Untitled

결제계정이 등록되면 다음과 같이 화면이 나오면 VM 설정이 가능하다.

Untitled

결제계정까지 완료가 되었으면 다음과 같이 Compute Engine API를 사용 버튼을 클릭해준다.

Untitled

이름은 mulcamp-gcp 지역은 서울로 했다.

Untitled

비용에 따라 성능을 선택할 수 있다.

Untitled

호스트 유지보수 시, VM 인스턴스는 마이그레이션을 권장한다.

Untitled

개요

MySQL Workbench를 통해 ERD 작업을 수행하도록 한다.

Step 1 - 메뉴 선택

상단 메뉴에서 Database > Reverse Engineer 를 선택한다.

Untitled

Step 2 - Reverse Engineer Database

Next 버튼을 클릭한다.

Untitled

Step 3 - Connect to MySQL Server

팝업창에서 root 또는 사용자 비밀번호 입력 후, 확인 버튼을 누르면 아래와 같이 연결이 될 것이다.

Untitled

Step 4 - Schema 선택

classicmodels 스키마를 선택한다.

Untitled

Step 4 - Connect to MySQL Server

비밀번호를 입력한다.

Untitled

개요

Delete 문법을 진행하는데, 아래와 같은 에러가 발생하였다.

Untitled

옵션 설정을 변경하여 코드를 재실행한다.

Safe Mode 끄기

아래 코드를 실행한다.

SET SQL_SAFE_UPDATES = 0;

Edit > Preferences > SQL Editor > Other 에서 Safe Updates 체크되어 있는 것을 삭제한다.

Untitled

코드 재 실행

Delete 코드를 재 실행한다.

DELETE FROM tasks WHERE start_date = DATE('2023-09-14');

Untitled

정상적으로 Delete 코드가 실행된 것을 확인할 수 있다.

개요

강의를 위한 CSV 파일을 Workbench를 통해 업로드를 하도록 한다.

교재

판매처 : https://www.yes24.com/Product/Goods/86544423

Untitled

Workbench 접속

Local instance MySQL을 클릭한다.

Untitled

최초 설치 진행시 진행한 password를 입력한다.

Untitled

로그인한 화면은 아래와 같다.

Untitled

Sample 데이터 다운로드

사이트 : https://www.mysqltutorial.org/mysql-sample-database.aspx
Download MySQL Sample Database를 클릭하여 다운로드 받는다.

Untitled

압축파일을 풀면 아래와 같이 mysqlsampledatabase.sql 파일을 확인하다.

Untitled

쿼리 불러오기

MySQL Workbench을 열고 File > Open SQL Script를 클릭한다.

Untitled

mysqlsampledatabase.sql 파일을 연다.

Untitled

개요

MySQL 설치를 진행한다.

MySQL 다운로드

사이트 : https://dev.mysql.com/downloads/windows/installer/8.0.html

Untitled

위 화면에서 2번째를 선택한다. 선택 시, 로그인을 해야 하는 상황이 올수도 있다. 회원 가입 후, 재 진행 한다.
다음 화면에서 Download Now버튼을 클릭한다.

Untitled

MySQL 설치

다운로드 설치 프로그램을 실행한다.
아래 메뉴에서 선택적으로 설치가 가능하다.
여기에서는 Full 을 선택하고 설치를 진행하도록 한다.

Untitled

Execute 버튼을 클릭하여 설치를 진행한다.

Untitled

Next 버튼을 클릭한다.

Untitled

포트 번호 (3306)를 기억한다.

Untitled

간단하게 접속을 진행하기 위해 두번째 메뉴 선택 후, Next 버튼을 클릭한다.

Untitled