개요 Google Compute Engine에서 Gihub Action을 구현하도록 한다. 프로젝트 생성 새 프로젝트 버튼을 클릭 후 프로젝트 명을 streamlit-gitaction으로 명명한다. Instance 생성 Compute Engine > VM Instance 선택 후, 새로운 인스턴스를 생성한다. 처음 사용하는 경우 사용 버튼을 클릭한다. 최초 작업에는 결제 필요 버튼이 나올 수 있다. 결제 사용 설정을 눌러 결제를 추가한다. 필자는 회사 계정을 사용한 것이므로 이렇게 나오지만, 일반 사용자는 화면이 다를 수 있다. VM 인스턴스를 생성한다. 인스턴스 이름과 리전과 영역은 다음과 같이 진행한다.

개요 MySQL Workbench에서 File을 불러올 때 에러가 발생했을 때 대처 요령을 소개한다. Workbench에서 File을 불러올 때 가끔 아래와 같은 아래가 발생하곤 한다. 해결방법은 MySQL Shell Script에서 직접 파일을 불러오는 방식이다. MySQL 재접속 기존에 Workbench에 접속해 있었다면 우선 종료를 한다. 재접속 전 Edit Connection 버튼을 클릭한다. Advanced Tab을 클릭한다. Others 메뉴에서 OPT_LOCAL_INFILE=1 을 입력한다. Test Connection 버튼을 클릭하여 정상적으로 접속이 되는지 재 확인한다. 이제 재 접속을 하면 Workbench의 설정은 완료가 되었다. Schema 및 Table 생성 마우스 우클릭 후 스키마를 생성한다.

개요 Streamlit과 Bigquery를 연동하는 코드를 구현한다. 가상환경 설정 부터 VS Code 연동까지 준비가 안되어 있다면 이전 글을 참조하기를 바란다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP Python Library Installation on Compute Engine in GCP GCP with VS Code SSH Connection gcloud Installation on Windows 11 Streamlit with Bigquery On Compute Engine 개요 Streamlit Sample 코드를 작성한 후 배포를 진행한다.

개요 Streamlit과 Bigquery를 연동하는 코드를 구현한다. 가상환경 설정 부터 VS Code 연동까지 준비가 안되어 있다면 이전 글을 참조하기를 바란다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP Python Library Installation on Compute Engine in GCP GCP with VS Code SSH Connection gcloud Installation on Windows 11 인스턴스 시작 인스턴스가 중지가 되어 있다면 다시 시작을 한다. BigQuery Client 라이브러리 설치 클라이언트 라이브러리를 설치한다.

개요 Windows 11에서 gcloud 설치를 진행한다. 참조 문서 : https://cloud.google.com/sdk/docs/install-sdk?hl=ko gcloud CLI 최신 버전(445.0.0) 설치 [Google Cloud CLI 설치 프로그램] (https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe?hl=ko) 다운로드 한다. 또는 PowerShell 터미널을 열고 다음 PowerShell 명령어를 실행한다. 여기에서는 설치 프로그램을 다운로드 받아서 설치한다. Finish 버튼을 클릭하면 설치는 완료가 된 것이다. gcloud 연동 위 Finish 버튼과 함께 로그인을 진행한다. 인증절차가 시작완료되면 웹 페이지가 변경되고 터미널 환경도 변경된다. 현재 필자의 프로젝트는 3번에 해당되기 때문에 3번을 클릭한다. default Region and Zone이 나오면 Y를 선택한다.

개요 SSH Key를 이용하여 로컬에서 원격으로 GCP 프로젝트에 접속을 한다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP Python Library Installation on Compute Engine in GCP SSH Key 생성하기 puTTYgen에서 public / private key 값을 생성한다. Generate 버튼을 클릭한다. Private Key를 OpenSSH 방식으로 Export 한다. Key Comment에 구글 계정을 입력한다. password도 입력한다. Public Key는 모두 복사한다. GCP 메타데이터 등록 Compute Engine > 메타데이터 접속하여 SSH 키에 붙여 넣는다.

개요 기 설치된 Compute Engine에 라이브러리를 설치하고 간단하게 Streamlit 배포를 진행한다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP requirements.txt Github Repo에서 Add file > Create new file을 클릭 후, 아래 주요 라이브러리를 입력한다. 파일명 : requirements.txt 라이브러리명은 다음과 같다. 입력 후, Commit Changes 버튼을 클릭한다. pyspark==3.1.1 pandas streamlit matplotlib 현재 파일 목록은 아래와 같다. 이제 GCP 터미널에서 requirements.

개요 Google Cloud Project에서 Github 계정을 연동하는 과정을 보여준다. 처음 GCP를 사용하는 독자분들은 이전 글을 참조해서 설정을 먼저 진행한다. 참조 : https://dschloe.github.io/gcp/2023/09/spark_installation_gcp/ 터미널 열기 기존 인스턴스는 중지를 시켰기 때문에 이를 다시 시작/재개 버튼을 눌러 활성화 한다. 시작 버튼 클릭과 함께 오늘도 비용을 지불해본다. 브라우저 창에서 열기를 진행한다. Git 설치 터미널에 Git을 설치하는 방법은 다음 명령어를 순차적으로 입력한다. (base) ~$ sudo apt-get update -y (base) ~$ sudo apt-get upgrade -y (base) ~$ sudo apt install git (base) ~$ git --version Git Repo 생성 Github에서 Repo를 만든다.

개요 Spark를 구글 클라우드에 설치하도록 한다. 프로젝트 시작부터 진행한다. 프로젝트 시작 본 화면에서 새로운 프로젝트를 시작한다. 프로젝트명 : mulcampFP VM 시작하기 VM 만들기를 클릭한다. 활성 결제 계정이 없으면 결제계정을 등록한다. 결제계정이 등록되면 다음과 같이 화면이 나오면 VM 설정이 가능하다. 결제계정까지 완료가 되었으면 다음과 같이 Compute Engine API를 사용 버튼을 클릭해준다. 이름은 mulcamp-gcp 지역은 서울로 했다. 비용에 따라 성능을 선택할 수 있다. 호스트 유지보수 시, VM 인스턴스는 마이그레이션을 권장한다. 부팅 디스크는 Ubuntu로 변경했다.

개요 MySQL Workbench를 통해 ERD 작업을 수행하도록 한다. Step 1 - 메뉴 선택 상단 메뉴에서 Database > Reverse Engineer 를 선택한다. Step 2 - Reverse Engineer Database Next 버튼을 클릭한다. Step 3 - Connect to MySQL Server 팝업창에서 root 또는 사용자 비밀번호 입력 후, 확인 버튼을 누르면 아래와 같이 연결이 될 것이다. Step 4 - Schema 선택 classicmodels 스키마를 선택한다. Step 4 - Connect to MySQL Server 비밀번호를 입력한다. Step 5 - 순차적으로 버튼 선택 Next 버튼을 클릭한다.