개요 gcloud를 Mac에서 설치를 하도록 한다. 참조 : https://cloud.google.com/sdk/docs/install-sdk?hl=ko 설치파일 다운로드 각 사용자 버전에 맞는 설치 파일을 다운로드 받는다. 필자는 M1 silicon 버전을 사용하기로 하였다. Desktop > gcloud_install 내부에 해당 파일을 다운로드 받았다. 압축을 풀면 아래와 같이 google-cloud-sdk 폴더 안애 install.sh 파일이 있다. 설치파일 실행 해당 폴더에 있는 파일에 접속해서 install.sh 파일을 실행한다. $ {your_location}/google-cloud-sdk/install.sh Welcome to the Google Cloud CLI! To help improve the quality of this product, we collect anonymized usage data and anonymized stacktraces when crashes are encountered; additional information is available at <https://cloud.
개요 신규로 설치를 하는 것은 아래 링크를 참조한다. 링크 : https://dschloe.github.io/gcp/2023/09/gcloud_installation_windows11/ 기존에 설치 후, 재설치 할 때의 과정을 리뷰 한다. 재설치 재설치의 마지막 화면은 다음과 같다. Pick configuration to use, Section에서 2번을 선택한다. 이후 CMD 화면이 팝업화가 된다. Welcome to the Google Cloud CLI! Run "gcloud -h" to get the list of available commands. --- Welcome! This command will take you through the configuration of gcloud. Settings from your current configuration [default] are: accessibility: screen_reader: 'True' compute: region: asia-northeast3 zone: asia-northeast3-a core: account: your_existing@gmail.
개요 Github Actions 강의 중, 애매한 부분을 정리하였다. Github Actions에 대한 전체 코드는 여기에서 다루지는 않는다. SSH-Key 값 설정 GCE에서 Github와 연동을 위해서는 Key값을 생성해야 한다. 본인의 구글클라우드 이메일을 추가하여 아래와 같이 코드를 실행한다. GCP의 ID와 Github의 이메일 주소가 다른 분들이 있다. 이럴 경우 문제가 발생할 수 있다. 주의 : Github 이메일 주소가 아님 $ ssh-keygen -t rsa -b 4096 -C "your@gmail.com" Github SSH Key값 생성 ssh의 public 키값을 복사한다. $ cat .
개요 BigQuery에서 Google Adwords 데이터와 Google Analytics를 불러올 수 있다. 전제조건 구글 클라우드 사용법은 어느정도 알고 있는 상태를 전제로 한다. Google Analytics를 이미 활용하고 있다는 것을 전제로 한다. Google Analytics 왼쪽 메뉴에서 관리 > 제품 링크를 확인한다. BigQuery 링크 클릭 > 연결 버튼을 클릭한다. BigQuery 프로젝트를 선택한다. 활성화중인 프로젝트를 선택한다. 데이터 위치를 지정한다. 본 프로젝트에서는 서울로 명명한다. 내보내기 유형은 매일로 선택한다. 사용자 데이터는 일별로 선택한다. 검토 후 제출 화면에서 특별한 이의사항이 없으면 보내기 버튼을 클릭한다.
개요 Google Compute Engine에서 Gihub Action을 구현하도록 한다. 프로젝트 생성 새 프로젝트 버튼을 클릭 후 프로젝트 명을 streamlit-gitaction으로 명명한다. Instance 생성 Compute Engine > VM Instance 선택 후, 새로운 인스턴스를 생성한다. 처음 사용하는 경우 사용 버튼을 클릭한다. 최초 작업에는 결제 필요 버튼이 나올 수 있다. 결제 사용 설정을 눌러 결제를 추가한다. 필자는 회사 계정을 사용한 것이므로 이렇게 나오지만, 일반 사용자는 화면이 다를 수 있다. VM 인스턴스를 생성한다. 인스턴스 이름과 리전과 영역은 다음과 같이 진행한다.
개요 Streamlit과 Bigquery를 연동하는 코드를 구현한다. 가상환경 설정 부터 VS Code 연동까지 준비가 안되어 있다면 이전 글을 참조하기를 바란다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP Python Library Installation on Compute Engine in GCP GCP with VS Code SSH Connection gcloud Installation on Windows 11 Streamlit with Bigquery On Compute Engine 개요 Streamlit Sample 코드를 작성한 후 배포를 진행한다.
개요 Streamlit과 Bigquery를 연동하는 코드를 구현한다. 가상환경 설정 부터 VS Code 연동까지 준비가 안되어 있다면 이전 글을 참조하기를 바란다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP Python Library Installation on Compute Engine in GCP GCP with VS Code SSH Connection gcloud Installation on Windows 11 인스턴스 시작 인스턴스가 중지가 되어 있다면 다시 시작을 한다. BigQuery Client 라이브러리 설치 클라이언트 라이브러리를 설치한다.
개요 Windows 11에서 gcloud 설치를 진행한다. 참조 문서 : https://cloud.google.com/sdk/docs/install-sdk?hl=ko gcloud CLI 최신 버전(445.0.0) 설치 [Google Cloud CLI 설치 프로그램] (https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe?hl=ko) 다운로드 한다. 또는 PowerShell 터미널을 열고 다음 PowerShell 명령어를 실행한다. 여기에서는 설치 프로그램을 다운로드 받아서 설치한다. Finish 버튼을 클릭하면 설치는 완료가 된 것이다. gcloud 연동 위 Finish 버튼과 함께 로그인을 진행한다. 인증절차가 시작완료되면 웹 페이지가 변경되고 터미널 환경도 변경된다. 현재 필자의 프로젝트는 3번에 해당되기 때문에 3번을 클릭한다. default Region and Zone이 나오면 Y를 선택한다.
개요 SSH Key를 이용하여 로컬에서 원격으로 GCP 프로젝트에 접속을 한다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP Python Library Installation on Compute Engine in GCP SSH Key 생성하기 puTTYgen에서 public / private key 값을 생성한다. Generate 버튼을 클릭한다. Private Key를 OpenSSH 방식으로 Export 한다. Key Comment에 구글 계정을 입력한다. password도 입력한다. Public Key는 모두 복사한다. GCP 메타데이터 등록 Compute Engine > 메타데이터 접속하여 SSH 키에 붙여 넣는다.
개요 기 설치된 Compute Engine에 라이브러리를 설치하고 간단하게 Streamlit 배포를 진행한다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP requirements.txt Github Repo에서 Add file > Create new file을 클릭 후, 아래 주요 라이브러리를 입력한다. 파일명 : requirements.txt 라이브러리명은 다음과 같다. 입력 후, Commit Changes 버튼을 클릭한다. pyspark==3.1.1 pandas streamlit matplotlib 현재 파일 목록은 아래와 같다. 이제 GCP 터미널에서 requirements.