개요

• Windows 11에서 gcloud 설치를 진행한다.
• 참조 문서 : https://cloud.google.com/sdk/docs/install-sdk?hl=ko

gcloud CLI 최신 버전(445.0.0) 설치

• [Google Cloud CLI 설치 프로그램] (https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe?hl=ko) 다운로드 한다.
• 또는 PowerShell 터미널을 열고 다음 PowerShell 명령어를 실행한다.
• 여기에서는 설치 프로그램을 다운로드 받아서 설치한다.

• Finish 버튼을 클릭하면 설치는 완료가 된 것이다.

gcloud 연동

• 위 Finish 버튼과 함께 로그인을 진행한다.

• 인증절차가 시작완료되면 웹 페이지가 변경되고 터미널 환경도 변경된다.

• 현재 필자의 프로젝트는 3번에 해당되기 때문에 3번을 클릭한다.

개요

• SSH Key를 이용하여 로컬에서 원격으로 GCP 프로젝트에 접속을 한다.
• 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다.
  • Spark Installation with GCP (Sept. 2023)
  • Compute Engine with Github in GCP
  • Python Library Installation on Compute Engine in GCP

SSH Key 생성하기

• puTTYgen에서 public / private key 값을 생성한다.

• Generate 버튼을 클릭한다.

• Private Key를 OpenSSH 방식으로 Export 한다.
  • Key Comment에 구글 계정을 입력한다.
  • password도 입력한다.

• Public Key는 모두 복사한다.

GCP 메타데이터 등록

• Compute Engine > 메타데이터 접속하여 SSH 키에 붙여 넣는다.

개요

• 기 설치된 Compute Engine에 라이브러리를 설치하고 간단하게 Streamlit 배포를 진행한다.
• 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다.
  • Spark Installation with GCP (Sept. 2023)
  • Compute Engine with Github in GCP

requirements.txt

• Github Repo에서 Add file > Create new file을 클릭 후, 아래 주요 라이브러리를 입력한다.
  • 파일명 : requirements.txt

• 라이브러리명은 다음과 같다. 입력 후, Commit Changes 버튼을 클릭한다.

pyspark==3.1.1
pandas
streamlit
matplotlib

• 현재 파일 목록은 아래와 같다.

개요

• Google Cloud Project에서 Github 계정을 연동하는 과정을 보여준다.
• 처음 GCP를 사용하는 독자분들은 이전 글을 참조해서 설정을 먼저 진행한다.
  • 참조 : https://dschloe.github.io/gcp/2023/09/spark_installation_gcp/

터미널 열기

• 기존 인스턴스는 중지를 시켰기 때문에 이를 다시 시작/재개 버튼을 눌러 활성화 한다.

• 시작 버튼 클릭과 함께 오늘도 비용을 지불해본다.

• 브라우저 창에서 열기를 진행한다.

Git 설치

• 터미널에 Git을 설치하는 방법은 다음 명령어를 순차적으로 입력한다.

(base) ~$ sudo apt-get update -y
(base) ~$ sudo apt-get upgrade -y
(base) ~$ sudo apt install git
(base) ~$ git --version

Git Repo 생성

• Github에서 Repo를 만든다. (Repo : mulcampFP)
  • 보안을 위해 Private으로 지정한다.

개요

• Spark를 구글 클라우드에 설치하도록 한다.
• 프로젝트 시작부터 진행한다.

프로젝트 시작

• 본 화면에서 새로운 프로젝트를 시작한다.
• 프로젝트명 : mulcampFP

VM 시작하기

• VM 만들기를 클릭한다.

• 활성 결제 계정이 없으면 결제계정을 등록한다.

• 결제계정이 등록되면 다음과 같이 화면이 나오면 VM 설정이 가능하다.

• 결제계정까지 완료가 되었으면 다음과 같이 Compute Engine API를 사용 버튼을 클릭해준다.

• 이름은 mulcamp-gcp 지역은 서울로 했다.

• 비용에 따라 성능을 선택할 수 있다.

• 호스트 유지보수 시, VM 인스턴스는 마이그레이션을 권장한다.

개요

• MySQL Workbench를 통해 ERD 작업을 수행하도록 한다.

Step 1 - 메뉴 선택

• 상단 메뉴에서 Database > Reverse Engineer 를 선택한다.

Step 2 - Reverse Engineer Database

• Next 버튼을 클릭한다.

Step 3 - Connect to MySQL Server

• 팝업창에서 root 또는 사용자 비밀번호 입력 후, 확인 버튼을 누르면 아래와 같이 연결이 될 것이다.

Step 4 - Schema 선택

• classicmodels 스키마를 선택한다.

Step 4 - Connect to MySQL Server

• 비밀번호를 입력한다.

개요

• Delete 문법을 진행하는데, 아래와 같은 에러가 발생하였다.

• 옵션 설정을 변경하여 코드를 재실행한다.

Safe Mode 끄기

• 아래 코드를 실행한다.

SET SQL_SAFE_UPDATES = 0;

• Edit > Preferences > SQL Editor > Other 에서 Safe Updates 체크되어 있는 것을 삭제한다.

코드 재 실행

• Delete 코드를 재 실행한다.

DELETE FROM tasks WHERE start_date = DATE('2023-09-14');

• 정상적으로 Delete 코드가 실행된 것을 확인할 수 있다.

개요

• 강의를 위한 CSV 파일을 Workbench를 통해 업로드를 하도록 한다.

교재

• 판매처 : https://www.yes24.com/Product/Goods/86544423

Workbench 접속

• Local instance MySQL을 클릭한다.

• 최초 설치 진행시 진행한 password를 입력한다.

• 로그인한 화면은 아래와 같다.

Sample 데이터 다운로드

• 사이트 : https://www.mysqltutorial.org/mysql-sample-database.aspx
• Download MySQL Sample Database를 클릭하여 다운로드 받는다.

• 압축파일을 풀면 아래와 같이 mysqlsampledatabase.sql 파일을 확인하다.

쿼리 불러오기

• MySQL Workbench을 열고 File > Open SQL Script를 클릭한다.

• mysqlsampledatabase.sql 파일을 연다.

개요

• MySQL 설치를 진행한다.

MySQL 다운로드

• 사이트 : https://dev.mysql.com/downloads/windows/installer/8.0.html

• 위 화면에서 2번째를 선택한다. 선택 시, 로그인을 해야 하는 상황이 올수도 있다. 회원 가입 후, 재 진행 한다.
• 다음 화면에서 Download Now버튼을 클릭한다.

MySQL 설치

• 다운로드 설치 프로그램을 실행한다.
• 아래 메뉴에서 선택적으로 설치가 가능하다.
• 여기에서는 Full 을 선택하고 설치를 진행하도록 한다.

• Execute 버튼을 클릭하여 설치를 진행한다.

• Next 버튼을 클릭한다.

• 포트 번호 (3306)를 기억한다.

• 간단하게 접속을 진행하기 위해 두번째 메뉴 선택 후, Next 버튼을 클릭한다.

개요

• 기 설치된 MySQL을 완전 삭제하도록 한다.
• MySQL은 제어판 및 프로그램 제거를 통해서 삭제가 되지 않고, 이런 상태에서 제거할 경우, 재 설치 시 에러가 발생할 가능성이 높음

프로그램 추가 / 제거

• MySQL과 관련된 모든 프로그램을 삭제한다.

appdata에서 MySQL 폴더 삭제

• window 버튼 + R을 누른 후, 아래와 같이 %appdata% 입력 후 확인 버튼을 클릭한다.

• MySQL 폴더를 삭제한다.

ProgramData에서 MySQL 관련 폴더 삭제

• Windows + R 실행 후, %ProgramData% 입력 후 확인 버튼을 누른다.