개요 pandas 데이터프레임의 여러 개체 유형(문자열) 열에서 고유 값을 조사하려면 해당 열을 선택한 다음 unique()를 적용하여 고유 값을 추출한다. 이를 위한 단계별 접근 방식은 다음과 같다. 1단계 : 여러 컬럼 중에서 문자열 컬럼만 추출한다. 2단계 : unique() 함수를 활용하여 unique()값만 가져온다. 3단계 : 결괏값은 dictionary 형태로 담는다. 가상 데이터 생성 임의의 가상 데이터를 생성한다. import pandas as pd data = { 'Name': ['Evan', 'Bob', 'Evan', 'Bob'], 'City': ['New York', 'Los Angeles', 'New York', 'SF'], 'Job': ['Engineer', 'Engineer', 'Engineer', 'Artist'], 'num1' : [1, 2, 3, 4] } df = pd.

개요 작업 2유형(머신러닝)을 보다 쉽게 대비할 수 있도록 튜토리얼을 준비했습니다. 핵심 키워드 : Python 머신러닝은 pipeline 코드로 기억하자 본 코드는 구글 코랩에서 작성하였습니다. 유투브 유투브에서 강의 영상을 시청할 수 있습니다. (구독과 좋아요) 데이터 출처 본 데이터는 K-Data에서 가져왔습니다. 구글 드라이브 연동 데이터를 가져오기 위해 구글 드라이브와 연동합니다. from google.colab import drive drive.mount("/content/drive") Mounted at /content/drive 라이브러리 불러오기 아래 라이브러리들을 모두 암기하시기를 바랍니다. import pandas as pd import numpy as np from sklearn.

개요 Python 설치 과정을 유투브로 정리하였습니다. 본 튜토리얼은 Streamlit으로 프로젝트 한방에 끝내기 with 파이썬(2023, Sara & Evan) 교재를 동영상으로 변환하는 작업의 일환입니다. 유투브

개요 BigQuery에서 Google Adwords 데이터와 Google Analytics를 불러올 수 있다. 전제조건 구글 클라우드 사용법은 어느정도 알고 있는 상태를 전제로 한다. Google Analytics를 이미 활용하고 있다는 것을 전제로 한다. Google Analytics 왼쪽 메뉴에서 관리 > 제품 링크를 확인한다. BigQuery 링크 클릭 > 연결 버튼을 클릭한다. BigQuery 프로젝트를 선택한다. 활성화중인 프로젝트를 선택한다. 데이터 위치를 지정한다. 본 프로젝트에서는 서울로 명명한다. 내보내기 유형은 매일로 선택한다. 사용자 데이터는 일별로 선택한다. 검토 후 제출 화면에서 특별한 이의사항이 없으면 보내기 버튼을 클릭한다.

개요 Google Compute Engine에서 Gihub Action을 구현하도록 한다. 프로젝트 생성 새 프로젝트 버튼을 클릭 후 프로젝트 명을 streamlit-gitaction으로 명명한다. Instance 생성 Compute Engine > VM Instance 선택 후, 새로운 인스턴스를 생성한다. 처음 사용하는 경우 사용 버튼을 클릭한다. 최초 작업에는 결제 필요 버튼이 나올 수 있다. 결제 사용 설정을 눌러 결제를 추가한다. 필자는 회사 계정을 사용한 것이므로 이렇게 나오지만, 일반 사용자는 화면이 다를 수 있다. VM 인스턴스를 생성한다. 인스턴스 이름과 리전과 영역은 다음과 같이 진행한다.

개요 MySQL Workbench에서 File을 불러올 때 에러가 발생했을 때 대처 요령을 소개한다. Workbench에서 File을 불러올 때 가끔 아래와 같은 아래가 발생하곤 한다. 해결방법은 MySQL Shell Script에서 직접 파일을 불러오는 방식이다. MySQL 재접속 기존에 Workbench에 접속해 있었다면 우선 종료를 한다. 재접속 전 Edit Connection 버튼을 클릭한다. Advanced Tab을 클릭한다. Others 메뉴에서 OPT_LOCAL_INFILE=1 을 입력한다. Test Connection 버튼을 클릭하여 정상적으로 접속이 되는지 재 확인한다. 이제 재 접속을 하면 Workbench의 설정은 완료가 되었다. Schema 및 Table 생성 마우스 우클릭 후 스키마를 생성한다.

개요 Streamlit과 Bigquery를 연동하는 코드를 구현한다. 가상환경 설정 부터 VS Code 연동까지 준비가 안되어 있다면 이전 글을 참조하기를 바란다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP Python Library Installation on Compute Engine in GCP GCP with VS Code SSH Connection gcloud Installation on Windows 11 Streamlit with Bigquery On Compute Engine 개요 Streamlit Sample 코드를 작성한 후 배포를 진행한다.

개요 Streamlit과 Bigquery를 연동하는 코드를 구현한다. 가상환경 설정 부터 VS Code 연동까지 준비가 안되어 있다면 이전 글을 참조하기를 바란다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP Python Library Installation on Compute Engine in GCP GCP with VS Code SSH Connection gcloud Installation on Windows 11 인스턴스 시작 인스턴스가 중지가 되어 있다면 다시 시작을 한다. BigQuery Client 라이브러리 설치 클라이언트 라이브러리를 설치한다.

개요 Windows 11에서 gcloud 설치를 진행한다. 참조 문서 : https://cloud.google.com/sdk/docs/install-sdk?hl=ko gcloud CLI 최신 버전(445.0.0) 설치 [Google Cloud CLI 설치 프로그램] (https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe?hl=ko) 다운로드 한다. 또는 PowerShell 터미널을 열고 다음 PowerShell 명령어를 실행한다. 여기에서는 설치 프로그램을 다운로드 받아서 설치한다. Finish 버튼을 클릭하면 설치는 완료가 된 것이다. gcloud 연동 위 Finish 버튼과 함께 로그인을 진행한다. 인증절차가 시작완료되면 웹 페이지가 변경되고 터미널 환경도 변경된다. 현재 필자의 프로젝트는 3번에 해당되기 때문에 3번을 클릭한다. default Region and Zone이 나오면 Y를 선택한다.

개요 SSH Key를 이용하여 로컬에서 원격으로 GCP 프로젝트에 접속을 한다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP Python Library Installation on Compute Engine in GCP SSH Key 생성하기 puTTYgen에서 public / private key 값을 생성한다. Generate 버튼을 클릭한다. Private Key를 OpenSSH 방식으로 Export 한다. Key Comment에 구글 계정을 입력한다. password도 입력한다. Public Key는 모두 복사한다. GCP 메타데이터 등록 Compute Engine > 메타데이터 접속하여 SSH 키에 붙여 넣는다.