Programmings on Data Science | DSChloe

빅데이터 분석기사 실기 (Python)

Sun, 15 Feb 2026 01:40:47 +0900

과정 개요

빅데이터 분석기사 실기 시험을 완벽하게 대비하는 Python 기반 실전 과정입니다. 실제 시험 환경과 동일한 조건에서 데이터 분석, 모델링, 평가까지 전 과정을 학습합니다.

과정 정보

수강 기간: 무제한 (평생 수강)
총 학습 시간: 약 5시간
난이도: 초급
수강료: ₩13,000 (특별 할인)
쿠폰 유효기간: 2026년 3월 17일까지
쿠폰코드: A0A10703D4A8BE7431A7
링크: https://www.udemy.com/course/python-qm/?couponCode=A0A10703D4A8BE7431A7

학습 목표

빅데이터 분석기사 실기 시험의 3가지 유형 완벽 마스터
Python 라이브러리(Pandas, NumPy, Scikit-learn)를 활용한 데이터 분석

커리큘럼

1단계: 작업형 1유형 - 데이터 전처리

데이터 읽기 및 탐색
결측치 처리
이상치 탐지 및 처리
데이터 변환 및 인코딩
그룹화 및 집계

2단계: 작업형 2유형 - 머신러닝 모델링

분류 모델 (로지스틱 회귀, 의사결정나무, 랜덤포레스트 등)
회귀 모델 (선형회귀, Ridge, Lasso 등)
교차 검증 및 하이퍼파라미터 튜닝
모델 평가 지표 (정확도, F1-score, ROC-AUC, RMSE 등)
예측 결과 제출 형식

3단계: 작업형 3유형 - 통계 분석

기술통계 분석
가설 검정
상관분석 및 회귀분석
통계적 유의성 해석

실습 환경

언어: Python

ADsP 회귀분석 상호작용 예시

Sun, 19 Oct 2025 10:38:15 +0900

회귀분석 상호작용 예시

라이브러리 가져오기

reshape2 → 데이터 구조 변환(wide↔long), tips 데이터 포함
ggplot2 → 시각화(산점도, 회귀선, 상호작용 그래프)
lmtest → 회귀 가정 검정(등분산성, 독립성 등)
car → 공선성 점검(VIF), 회귀 진단 도구
broom → 회귀 결과를 깔끔한 데이터프레임으로 정리
emmeans → 상호작용 효과·부분효과(기울기) 통계 검정

library(reshape2)
library(ggplot2)
library(lmtest)
library(car)
library(broom)
library(emmeans)

Tips 데이터 가져오기

데이터 설명 : 미국 식당에서 수집된 팁 관련 표본 데이터
관측치 수: 244

변수명	타입	설명
total_bill	numeric	총 결제 금액(달러)
tip	numeric	팁 금액(달러)
sex	factor (2)	성별 — Female / Male
smoker	factor (2)	흡연 여부 — No / Yes
day	factor (4)	요일 — Fri / Sat / Sun / Thur
time	factor (2)	식사 시간 — Dinner / Lunch
size	integer	일행 인원 수

data("tips")                 
str(tips)

## 'data.frame':    244 obs. of  7 variables:
##  $ total_bill: num  17 10.3 21 23.7 24.6 ...
##  $ tip       : num  1.01 1.66 3.5 3.31 3.61 4.71 2 3.12 1.96 3.23 ...
##  $ sex       : Factor w/ 2 levels "Female","Male": 1 2 2 2 1 2 2 2 2 2 ...
##  $ smoker    : Factor w/ 2 levels "No","Yes": 1 1 1 1 1 1 1 1 1 1 ...
##  $ day       : Factor w/ 4 levels "Fri","Sat","Sun",..: 3 3 3 3 3 3 3 3 3 3 ...
##  $ time      : Factor w/ 2 levels "Dinner","Lunch": 1 1 1 1 1 1 1 1 1 1 ...
##  $ size      : int  2 3 3 2 4 4 2 4 2 2 ...

상호작용이 없는 모델 만들기

먼저 상호작용이 없는 모델을 만든다.

m1 <- lm(tip ~ total_bill * sex, data = tips)
summary(m1)

## 
## Call:
## lm(formula = tip ~ total_bill * sex, data = tips)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -3.2232 -0.5660 -0.0977  0.4796  3.6675 
## 
## Coefficients:
##                     Estimate Std. Error t value Pr(>|t|)    
## (Intercept)         1.048020   0.272498   3.846 0.000154 ***
## total_bill          0.098878   0.013808   7.161 9.75e-12 ***
## sexMale            -0.195872   0.338954  -0.578 0.563892    
## total_bill:sexMale  0.008983   0.016417   0.547 0.584778    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 1.026 on 240 degrees of freedom
## Multiple R-squared:  0.4574, Adjusted R-squared:  0.4506 
## F-statistic: 67.43 on 3 and 240 DF,  p-value: < 2.2e-16

계수 해석

계수 해석에 대한 설명은 다음과 같다.

계수 항목	추정값(Estimate)	표준오차(Std. Error)	p-value	해석
total_bill	0.0989	0.0138	<0.001	여성 그룹에서 총금액 1달러 증가 시 팁이 약 $0.099 증가
sexMale	-0.1959	0.3390	0.564	남성은 여성보다 팁이 평균 $0.196 낮지만 통계적으로 유의하지 않음
total_bill:sexMale	0.0090	0.0164	0.585	남성의 기울기가 여성보다 0.009 더 크지만 통계적으로 유의하지 않음

위 표에 대한 해석 가이드는 다음과 같다.
- (Intercept) : 기준집단(여성)에서 total_bill = 0일 때 팁의 평균값(절편). 실제 상황에서 해석보다는 기준점 역할에 가까움.
- total_bill : 여성(Female) 그룹 기준으로, 총 결제금액이 1달러 증가할 때 팁이 평균 얼마 증가하는지를 나타냄. 여기서는 0.099달러 증가 → 유의(p<0.001).
- sexMale : 총 결제금액이 0일 때 남성이 여성보다 팁을 얼마나 더(또는 덜) 주는지의 차이. 여기서는 남성이 여성보다 $0.196 낮지만, 유의하지 않음.
- total_bill:sexMale : 성별에 따라 총금액이 팁에 미치는 기울기 차이(상호작용). 남성의 기울기가 여성보다 약간(0.009) 높지만 통계적으로 유의하지 않음.

모델 시각화

관측점 + 집단별 loess/선형선(간단)

그래프 코드는 다음과 같다.

ggplot(tips, aes(x = total_bill, y = tip, color = sex)) +
  geom_point(alpha = .6) +
  geom_smooth(method = "lm", se = TRUE) +
  labs(title = "Interaction: total_bill × sex",
       x = "Total bill", y = "Tip", color = "Sex") +
  theme_minimal(base_size = 13)

## `geom_smooth()` using formula = 'y ~ x'

Open AI와 앤트로픽 API 키 발급받기

Sat, 11 Oct 2025 01:40:47 +0900

Open AI 사이트 확인

사이트 : https://platform.openai.com/
- 회원가입 및 로그인 필수
톱니바퀴 모양 아이콘(Settings) 클릭 후 설정 화면으로 이동

설정화면에서 [API Keys] 메뉴 클릭 후, Create New Secret Key 눌러주기
- Name : ai-agent-test-project
- Project : Default Project

API 키가 보이는 창 확인
- Copy 버튼 누른 후 클립보드에 저장 후 다른 곳에 잘 저장하기
- 혹시나 보관을 못했다면, 지우고 다시 생성하는 것 추천
- 강의 때 연습용으로 사용하는 것은, 추후 관리 소홀로 유출 될 수 있으니 반드시 삭제 권장

Logstash 실행 및 확인 - 기본예제

Mon, 30 Jun 2025 01:03:28 +0900

개요

Logstash 기본 설치 과정을 확인한다.
Logstash 활용 예제를 확인한다.

사전준비

기존에 Elasticsearch와 Kibana 실행 방법을 알고 있어야 한다.
모든 코드는 Windows 에서 실행하였다.

Logstash의 역할

데이터 수집 (Ingest) - 데이터 변환 및 처리 (Processing / Filtering) - 데이터 출력 (Output)

데이터 수집

다양한 데이터 소스로부터 데이터 수집
- 로그파일
- TCP/UDP/HTTP 요청
- Kafka, Redis, JDBC(DB) 등

데이터 변환 및 처리 (Processing / Filtering)

주요 내용
- Logstash는 수집한 원시 데이터를 구조화된 형식으로 파싱하고 정제 및 가공
- 정규표현식 기반 grok 필터로 로그 파싱
- 날짜 포맷 통일 (date)
- 필드 추가/삭제/이름 변경
- 조건 분기 처리 (if, else)
- JSON, CSV 파싱
- 지오IP, 위치 정보 추가 등
예시 코드

Elasticsearch - Transformers 임베딩 입력 저장 (Local Mode)

Fri, 27 Jun 2025 01:03:28 +0900

개요

엘라스틱서치에서 밀집 벡터 위한 매핑 구성 방법 살펴보기
밀집 벡터가 저장될 embedding 이라는 필드 정의
Python 코드로 엘라스틱서치 코드 구현

코드 전체 시나리오

Elasticsearch에 연결 및 인덱스 초기화
dense_vector 타입으로 매핑 정의
문서 배열 정의
BERT 모델을 이용해 각 문서를 벡터 임베딩
벡터 포함 문서를 Elasticsearch에 색인

Elasticsearch 클라이언트 연결

로컬에서 실행 중인 Elasticsearch 서버에 접속
basic_auth: 로그인 자격 (ID: elastic, PW: 123456)
verify_certs=False: 인증서 검증 생략 (로컬에서 SSL 없이 사용 시 편의용)

es_admin = Elasticsearch("http://localhost:9200", 
                         basic_auth=("elastic", "123456"), 
                         verify_certs=False)

Mapping 정의 및 인덱스 생성

dense_vector: 벡터 검색용 필드 (벡터 유사도 기반 검색 가능)
dims: BERT의 출력 벡터는 기본적으로 768차원이므로 그에 맞춤

mapping = {
    "properties": {
        "embedding": {
            "type": "dense_vector",
            "dims": 768  # BERT의 출력 벡터 차원 수
        }
    }
}

기존 인덱스 삭제 후 새로 생성

기존에 있던 chapter-2 인덱스를 삭제 (중복 방지)
새로운 인덱스를 위에서 정의한 벡터 매핑으로 생성

try:
    es_admin.indices.delete(index="chapter-2")
    print("기존 chapter-2 인덱스를 삭제했습니다.")
except:
    print("chapter-2 인덱스가 존재하지 않습니다.")

es_admin.indices.create(index="chapter-2", body={'mappings': mapping})
print("새로운 chapter-2 인덱스를 생성했습니다.")

색인할 문서 데이터 구성

title과 text로 구성된 단순 문서 리스트
text는 BERT 임베딩의 입력값이 된다

docs = [
    {"title": "Document 1", "text": "This is the first document"},
    {"title": "Document 2", "text": "This is the second document"},
    {"title": "Document 3", "text": "This is the third document"}
]

BERT 모델과 토크나이저 초기화

bert-base-uncased: Hugging Face에서 사전 학습된 BERT 모델
AutoTokenizer: 입력 텍스트를 BERT가 이해할 수 있는 토큰으로 변환
AutoModel: 텍스트에 대한 BERT 임베딩 추출

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")

BERT 임베딩 생성

tokenizer(...): 텍스트를 토큰화하고 PyTorch 텐서로 변환
model(**inputs): BERT 실행 → 각 토큰에 대한 임베딩 벡터 반환
last_hidden_state.mean(dim=1): 문장의 전체 임베딩을 mean pooling으로 하나의 벡터로 압축 (1×768 벡터)
squeeze(0).numpy(): 불필요한 batch 차원 제거 후 NumPy로 변환
tolist(): Elasticsearch에 저장 가능하게 리스트 형태로 변환

for doc in docs:
    text = doc["text"]
    inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)
    with torch.no_grad():
        outputs = model(**inputs).last_hidden_state.mean(dim=1).squeeze(0).numpy() 
        doc["embedding"] = outputs.tolist()

Elasticsearch에 색인

각 문서를 chapter-2 인덱스에 색인
Elasticsearch는 embedding 필드를 dense_vector로 저장하며, 향후 벡터 검색에도 사용 가능

for doc in docs:
    es_admin.index(index="chapter-2", body=doc)

확인

Kibana | Management | Dev Tools에서 색인된 문서 조회

GET chapter-2/_search

엘라스틱 클라우드에 데이터 추가하기 - 예제 (2025, 06)

Thu, 26 Jun 2025 01:03:28 +0900

CH03 - 데이터 추가

개요

Cloud에 데이터 추가

이전 예제 확인

링크 : https://dschloe.github.io/de/2025/06/elk_install_sample_01/

파이썬 코드

# 필요한 라이브러리들을 가져옵니다
import time                    # 시간 지연을 위한 라이브러리
import requests               # HTTP 요청을 위한 라이브러리
from bs4 import BeautifulSoup # HTML 파싱을 위한 라이브러리
from elasticsearch import Elasticsearch  # Elasticsearch 클라이언트

# ✅ Elastic Cloud 연결 (API 키 인증 방식)
# Elastic Cloud의 클러스터에 API 키를 사용하여 연결합니다
# API 키는 사용자명/비밀번호 대신 더 안전한 인증 방식입니다
es = Elasticsearch(
    "your_cloud_url",  # Elastic Cloud 클러스터 URL
    api_key="your_api_key"  # API 키
)

# 저장할 인덱스 이름을 상수로 정의합니다
INDEX_NAME = "evan-elk-search"

# ✅ 인덱스 생성 (존재하지 않으면 새로 생성)
# Elasticsearch에서 데이터를 저장할 인덱스가 있는지 확인하고, 없으면 새로 생성합니다
if not es.indices.exists(index=INDEX_NAME):
    es.indices.create(index=INDEX_NAME)  # 새 인덱스 생성
    print(f"✅ Index '{INDEX_NAME}' created.")
else:
    print(f"✅ Index '{INDEX_NAME}' already exists.")

# ✅ 명언 수집 함수 정의
def get_quotes():
    """
    quotes.toscrape.com 웹사이트에서 명언들을 수집하는 함수
    
    Returns:
        list: 수집된 명언 요소들의 리스트 (BeautifulSoup 객체들)
    """
    res = requests.get("http://quotes.toscrape.com")  # 웹사이트에 GET 요청
    soup = BeautifulSoup(res.text, "html.parser")     # HTML을 파싱
    return soup.select(".quote")                       # .quote 클래스를 가진 요소들을 선택하여 반환

# ✅ 30초 간격으로 명언들을 하나씩 저장
# 수집된 명언들을 가져옵니다
quotes = get_quotes()

# 각 명언을 순회하면서 Elastic Cloud에 저장합니다
for i, q in enumerate(quotes):
    # 명언 데이터를 딕셔너리 형태로 구성합니다
    doc = {
        "text": q.select_one(".text").text.strip(),      # 명언 텍스트 추출 (공백 제거)
        "author": q.select_one(".author").text.strip(),  # 저자 이름 추출 (공백 제거)
        "tags": [tag.text for tag in q.select(".tag")]   # 태그들을 리스트로 추출
    }
    
    # Elastic Cloud에 문서를 저장합니다
    res = es.index(index=INDEX_NAME, document=doc)
    print(f"[{i+1}] ✅ Saved to Elastic Cloud: {res['_id']}")  # 저장된 문서의 ID 출력
    
    # 30초 대기 (다음 명언 저장 전)
    time.sleep(30)

클라우드에서 확인

엘라스틱 서치 시작하기 - 예제 (2025, 06)

Wed, 25 Jun 2025 01:03:28 +0900

개요

엘라스틱 클라우드 활용 예제 확인

회원가입

회원가입 페이지 : https://cloud.elastic.co/
필자는 Google 로그인을 통해 회원가입을 하였다.

가입 중간에 데이터 저장하는 공간이 있는데, 필자는 GCP를 선택하였다.

다음 화면에서는 다음과 같이 지정하였다. General Purpose

인덱스 명 : evan-elk-search

인덱스 명을 확인하면 다음과 같다.
URL과 API 주소를 확인한다.
- URL : your_url
- your_api_key

설치 및 예제 확인

Windows 10

윈도우 설치 파일 : https://www.elastic.co/kr/downloads/elasticsearch

압축 파일을 해제하고 C 드라이브쪽으로 폴더를 이동시킨다.

BigQuery 데이터 입출력 From Local TO BigQuery

Sun, 22 Jun 2025 17:10:30 +0900

개요

서비스 계정 추가 후, 데이터 업로드

GCP 서비스 계정 추가

IAM 및 관리자 > 서비스 계정 > 서비스 계정 만들기 선택

서비스 계정 이름은 각자 정한다. 필자는 lgu6th-bq-loader로 명명했다.
서비스계정 ID는 이메일 주소 ID를 사용한다.
만들고 계속하기 버튼을 클릭한다.

권한을 부여한다. BigQuery 관리자를 선택한다.
그 후 계속 버튼을 클릭한다.

그 후 완료 버튼을 클릭한다.

서비스 키 다운로드

다음과 같은 화면에서 키 관리 버튼을 클릭한다.

GCP VM Connect to BigQuery using Streamlit (ver. 2025, 06)

Sat, 21 Jun 2025 17:10:30 +0900

개요

VM 만들기 Web UI가 일부 변경됨 (추가 진행하기로 함)
VM 생성 및 VS Code 연결
VM과 BigQuery 연결

VM 머신 생성

머신 구성

이름과 성능 체크
월별 예상 가격을 체크한다.

OS 및 스토리지

Ubuntu - Ubuntu 24.04 LTS 방식으로 진행 (x86/64) 방식 선택
디스크 사이즈 : 25GB

암호화 : Google 관리 암호화 키 선택

AWS EC2 Connect to S3, Streamlit Web (2025 june)

Sun, 15 Jun 2025 09:13:30 +0900

개요

EC2 접속을 할 수 있다.
EC2에서 개발환경 설정을 할 수 있다.

회원가입

링크 : https://aws.amazon.com/console/
아래 화면, 우측 상단을 보면 English를 Korean으로 변경

아래 화면에서 AWS 계정 생성 버튼 클릭
- 링크 : https://aws.amazon.com/ko/console/

회원가입 진행

재 로그인

Account ID : 12자리 숫자로 AWS 계정을 식별하는 고유 값이다. 같은 회사라도 계정마다 ID가 다르다.
IAM User : 각 IAM User는 별도 패스워드·액세스키를 갖고, 정책으로 권한을 제한

Airflow 활용한 DB Insert 예제 (M1, MacOS)

Sat, 03 May 2025 01:40:47 +0900

개요

MySQL과 PostgreSQL에 각각 테이블 생성 후 데이터 넣기
아래와 같이 병렬적으로 실행하는 예제

시나리오

테이블과 데이터를 추가하되 두 DB에 대한 접근 방식이 다름
- MySQL은 직접적으로 넣기
- PostgreSQL은 Airflow를 통해서 데이터 넣기

환경설정

사전에 MySQL과 PostgreSQL이 설치가 이미 되어 있음을 가정한다.

파이썬 설치

uv : https://docs.astral.sh/uv/getting-started/installation/

프로젝트 초기화

프로젝트 디렉터리에서 다음과 순차적으로 실행

$ uv venv -p 3.11
$ source .venv/bin/activate

Airflow 설치

먼저 환경변수를 설정한다.

$ export AIRFLOW_HOME=$(pwd)/airflow

셸 스크립트 작성 및 실행

다음과 같이 셸 스크립트 작성
- 파일명 : install_airflow.sh

AIRFLOW_VERSION=2.8.0

# Python 버전을 3.11로 고정 설정
PYTHON_VERSION="3.11"

CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"
# For example this would install 3.0.0 with python 3.11: https://raw.githubusercontent.com/apache/airflow/constraints-3.0.0/constraints-3.11.txt

uv pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"
uv pip install -r requirements.txt

라이브러리 목록
- 파일명 : requirements.txt

pandas
numpy
seaborn
matplotlib
requests
psycopg2-binary
streamlit
plotly
pytz
mysql-connector-python
apache-airflow-providers-postgres==5.7.1

셸 스크립트를 실행한다.

chmod +x install_airflow.sh
./install_airflow.sh

MySQL, PostgreSQL 설정확인

MySQL 설정

설정
- host : localhost
- user : root
- password : evan1234
- port : 3306
- Schema : airflow_db

PostgreSQL 설정

설정
- host : localhost
- user : postgres
- password : 1234
- port : 5432
- Database : python_dataengineering

최종 결과 예시

정상적으로 입력이 되면 다음과 같이 출력이 될 것이다. (미리 확인용)
MySQL

Airflow 활용한 API 크롤링 및 이미지 다운로드 (M1, MacOS)

Fri, 02 May 2025 01:40:47 +0900

개요

Airflow 활용해서 이미지 다운로드 받기 예제

개발환경설정

MacOS, M1
Python uv 개발환경 설정

uv 설치

공식 싸이트 확인
- 링크 : https://docs.astral.sh/uv/getting-started/installation/#installation-methods

curl -LsSf https://astral.sh/uv/install.sh | sh

가상환경 설정

다음과 같이 설정, 프로젝트 초기화 (Python 3.11 지정)

$ uv venv -p 3.11
$ source .venv/bin/activate

Python 버전 확인

$ python --version

AIRFLOW_HOME 환경변수 지정

airflow는 환경변수에 예민하다.
프로젝트 디렉터리 경로에서 다음과 같이 추가

$ export AIRFLOW_HOME=$(pwd)/airflow
$ echo $AIRFLOW_HOME
/Users/evan/Desktop/your/project/directory/airflow

설치 스크립트 작성

파일명 : install_airflow.sh

AIRFLOW_VERSION=2.8.0

# Python 버전을 3.11로 고정 설정
PYTHON_VERSION="3.11"

CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"
# For example this would install 3.0.0 with python 3.11: https://raw.githubusercontent.com/apache/airflow/constraints-3.0.0/constraints-3.11.txt

uv pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"
# PostgreSQL 제공자 패키지 버전 명시
uv pip install apache-airflow-providers-postgres==5.7.1
uv pip install -r requirements.txt

파일명 : requirements.txt 파일 작성

pandas
numpy
seaborn
matplotlib
requests

sh 파일 실행 모드로 변경 후 실행

$ chmod +x install_airflow.sh
$ ./install_airflow.sh

API 확인 및 테스트

다음 5개의 예정된 발사 정보 조회

$ curl "https://ll.thespacedevs.com/2.2.0/launch/upcoming/?limit=5"
{"count":338,"next":"https://ll.thespacedevs.com/2.2.0/launch/upcoming/?limit=5&offset=5","previous":null,"results":[{"id":"1a105ccb-e59f-48e8-b853-c424bd8cc699","url":"https://ll.thespacedevs.com/2.2.0/launch/1a105ccb-e59f-48e8-b853-c424bd8cc699/","slug":"falcon-9-block-5-starlink-group-6-75","name":"Falcon 9 Block 5 | Starlink Group 6-75","status":{"id":6,"name":"Launch in Flight","abbrev":"In Flight","description":"The launch vehicle has lifted off from the launchpad."},"last_updated":"2025-05-02T01:52:11Z","net":"2025-05-02T01:51:10Z","window_end":"2025-05-02T05:51:00Z","window_start":"2025-05-02T01:51:10Z","net_precision":{"id":0,"name":"Second","abbrev":"SEC","description":"The T-0 is accurate to the second."},"probability":99,"weather_concerns":null,"holdreason":"","failreason":"","hashtag":null,"launch_service_provider":{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"},"rocket":{"id":8596,"configuration":{"id":164,"url":"https://ll.thespacedevs.com/2.2.0/config/launcher/164/","name":"Falcon 9","family":"Falcon","full_name":"Falcon 9 Block 5","variant":"Block 5"}},"mission":{"id":7188,"name":"Starlink Group 6-75","description":"A batch of 28 satellites for the Starlink mega-constellation - SpaceX's project for space-based Internet communication system.","launch_designator":null,"type":"Communications","orbit":{"id":8,"name":"Low Earth Orbit","abbrev":"LEO"},"agencies":[{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","featured":true,"type":"Commercial","country_code":"USA","abbrev":"SpX","description":"Space Exploration Technologies Corp., known as SpaceX, is an American aerospace manufacturer and space transport services company headquartered in Hawthorne, California. It was founded in 2002 by entrepreneur Elon Musk with the goal of reducing space transportation costs and enabling the colonization of Mars. SpaceX operates from many pads, on the East Coast of the US they operate from SLC-40 at Cape Canaveral Space Force Station and historic LC-39A at Kennedy Space Center. They also operate from SLC-4E at Vandenberg Space Force Base, California, usually for polar launches. Another launch site is being developed at Boca Chica, Texas.","administrator":"CEO: Elon Musk","founding_year":"2002","launchers":"Falcon | Starship","spacecraft":"Dragon","launch_library_url":null,"total_launch_count":502,"consecutive_successful_launches":24,"successful_launches":487,"failed_launches":14,"pending_launches":118,"consecutive_successful_landings":71,"successful_landings":449,"failed_landings":26,"attempted_landings":474,"info_url":"http://www.spacex.com/","wiki_url":"http://en.wikipedia.org/wiki/SpaceX","logo_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_logo_20220826094919.png","image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_image_20190207032501.jpeg","nation_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_nation_20230531064544.jpg"}],"info_urls":[],"vid_urls":[]},"pad":{"id":80,"url":"https://ll.thespacedevs.com/2.2.0/pad/80/","agency_id":121,"name":"Space Launch Complex 40","description":"","info_url":null,"wiki_url":"https://en.wikipedia.org/wiki/Cape_Canaveral_Air_Force_Station_Space_Launch_Complex_40","map_url":"https://www.google.com/maps?q=28.56194122,-80.57735736","latitude":"28.56194122","longitude":"-80.57735736","location":{"id":12,"url":"https://ll.thespacedevs.com/2.2.0/location/12/","name":"Cape Canaveral SFS, FL, USA","country_code":"USA","description":"Cape Canaveral Space Force Station (CCSFS) is an installation of the United States Space Force's Space Launch Delta 45, located on Cape Canaveral in Brevard County, Florida.","map_image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/map_images/location_12_20200803142519.jpg","timezone_name":"America/New_York","total_launch_count":1020,"total_landing_count":64},"country_code":"USA","map_image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/map_images/pad_80_20200803143323.jpg","total_launch_count":304,"orbital_launch_attempt_count":304},"webcast_live":true,"image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/falcon2520925_image_20221009234147.png","infographic":null,"program":[{"id":25,"url":"https://ll.thespacedevs.com/2.2.0/program/25/","name":"Starlink","description":"Starlink is a satellite internet constellation operated by American aerospace company SpaceX","agencies":[{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"}],"image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/starlink_program_20231228154508.jpeg","start_date":"2018-02-22T14:17:00Z","end_date":null,"info_url":"https://starlink.com","wiki_url":"https://en.wikipedia.org/wiki/Starlink","mission_patches":[{"id":7,"name":"Space X Starlink Mission Patch","priority":10,"image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/mission_patch_images/space2520x252_mission_patch_20221011205756.png","agency":{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"}}],"type":{"id":3,"name":"Communication Constellation"}}],"orbital_launch_attempt_count":6943,"location_launch_attempt_count":1020,"pad_launch_attempt_count":304,"agency_launch_attempt_count":502,"orbital_launch_attempt_count_year":94,"location_launch_attempt_count_year":26,"pad_launch_attempt_count_year":24,"agency_launch_attempt_count_year":53,"type":"normal"},{"id":"7b685ef7-f610-413f-bd4a-cc58aed97be2","url":"https://ll.thespacedevs.com/2.2.0/launch/7b685ef7-f610-413f-bd4a-cc58aed97be2/","slug":"falcon-9-block-5-starlink-group-15-3","name":"Falcon 9 Block 5 | Starlink Group 15-3","status":{"id":8,"name":"To Be Confirmed","abbrev":"TBC","description":"Awaiting official confirmation - current date is known with some certainty."},"last_updated":"2025-04-30T19:54:30Z","net":"2025-05-03T18:13:00Z","window_end":"2025-05-03T22:13:00Z","window_start":"2025-05-03T18:13:00Z","net_precision":{"id":2,"name":"Hour","abbrev":"HR","description":"The T-0 is accurate to the hour."},"probability":null,"weather_concerns":null,"holdreason":"","failreason":"","hashtag":null,"launch_service_provider":{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"},"rocket":{"id":8594,"configuration":{"id":164,"url":"https://ll.thespacedevs.com/2.2.0/config/launcher/164/","name":"Falcon 9","family":"Falcon","full_name":"Falcon 9 Block 5","variant":"Block 5"}},"mission":{"id":7186,"name":"Starlink Group 15-3","description":"A batch of 26 satellites for the Starlink mega-constellation - SpaceX's project for space-based Internet communication system.","launch_designator":null,"type":"Communications","orbit":{"id":8,"name":"Low Earth Orbit","abbrev":"LEO"},"agencies":[{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","featured":true,"type":"Commercial","country_code":"USA","abbrev":"SpX","description":"Space Exploration Technologies Corp., known as SpaceX, is an American aerospace manufacturer and space transport services company headquartered in Hawthorne, California. It was founded in 2002 by entrepreneur Elon Musk with the goal of reducing space transportation costs and enabling the colonization of Mars. SpaceX operates from many pads, on the East Coast of the US they operate from SLC-40 at Cape Canaveral Space Force Station and historic LC-39A at Kennedy Space Center. They also operate from SLC-4E at Vandenberg Space Force Base, California, usually for polar launches. Another launch site is being developed at Boca Chica, Texas.","administrator":"CEO: Elon Musk","founding_year":"2002","launchers":"Falcon | Starship","spacecraft":"Dragon","launch_library_url":null,"total_launch_count":502,"consecutive_successful_launches":24,"successful_launches":487,"failed_launches":14,"pending_launches":118,"consecutive_successful_landings":71,"successful_landings":449,"failed_landings":26,"attempted_landings":474,"info_url":"http://www.spacex.com/","wiki_url":"http://en.wikipedia.org/wiki/SpaceX","logo_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_logo_20220826094919.png","image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_image_20190207032501.jpeg","nation_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_nation_20230531064544.jpg"}],"info_urls":[],"vid_urls":[]},"pad":{"id":16,"url":"https://ll.thespacedevs.com/2.2.0/pad/16/","agency_id":null,"name":"Space Launch Complex 4E","description":"Space Launch Complex 4 East (SLC-4E) is a launch site at Vandenberg Space Force Base, California, U.S.\r\n\r\nThe pad was previously used by Atlas and Titan rockets between 1963 and 2005. The pad was built for use by Atlas-Agena rockets, but was later rebuilt to handle Titan rockets.","info_url":null,"wiki_url":"https://en.wikipedia.org/wiki/Vandenberg_Space_Launch_Complex_4#SLC-4E","map_url":"https://www.google.com/maps?q=34.632,-120.611","latitude":"34.632","longitude":"-120.611","location":{"id":11,"url":"https://ll.thespacedevs.com/2.2.0/location/11/","name":"Vandenberg SFB, CA, USA","country_code":"USA","description":"Vandenberg Space Force Base is a United States Space Force Base in Santa Barbara County, California. Established in 1941, Vandenberg Space Force Base is a space launch base, launching spacecraft from the Western Range, and also performs missile testing. The United States Space Force's Space Launch Delta 30 serves as the host delta for the base, equivalent to an Air Force air base wing. In addition to its military space launch mission, Vandenberg Space Force Base also hosts space launches for civil and commercial space entities, such as NASA and SpaceX.","map_image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/map_images/location_11_20200803142416.jpg","timezone_name":"America/Los_Angeles","total_launch_count":804,"total_landing_count":26},"country_code":"USA","map_image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/map_images/pad_16_20200803143532.jpg","total_launch_count":190,"orbital_launch_attempt_count":190},"webcast_live":false,"image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/falcon2520925_image_20221009234147.png","infographic":null,"program":[{"id":25,"url":"https://ll.thespacedevs.com/2.2.0/program/25/","name":"Starlink","description":"Starlink is a satellite internet constellation operated by American aerospace company SpaceX","agencies":[{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"}],"image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/starlink_program_20231228154508.jpeg","start_date":"2018-02-22T14:17:00Z","end_date":null,"info_url":"https://starlink.com","wiki_url":"https://en.wikipedia.org/wiki/Starlink","mission_patches":[{"id":7,"name":"Space X Starlink Mission Patch","priority":10,"image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/mission_patch_images/space2520x252_mission_patch_20221011205756.png","agency":{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"}}],"type":{"id":3,"name":"Communication Constellation"}}],"orbital_launch_attempt_count":6944,"location_launch_attempt_count":805,"pad_launch_attempt_count":191,"agency_launch_attempt_count":503,"orbital_launch_attempt_count_year":95,"location_launch_attempt_count_year":19,"pad_launch_attempt_count_year":17,"agency_launch_attempt_count_year":54,"type":"normal"},{"id":"8ffb4866-43c9-46c1-aaac-05bd37891b0a","url":"https://ll.thespacedevs.com/2.2.0/launch/8ffb4866-43c9-46c1-aaac-05bd37891b0a/","slug":"falcon-9-block-5-starlink-group-6-84","name":"Falcon 9 Block 5 | Starlink Group 6-84","status":{"id":8,"name":"To Be Confirmed","abbrev":"TBC","description":"Awaiting official confirmation - current date is known with some certainty."},"last_updated":"2025-05-02T01:01:57Z","net":"2025-05-04T08:48:00Z","window_end":"2025-05-04T12:48:00Z","window_start":"2025-05-04T08:48:00Z","net_precision":{"id":2,"name":"Hour","abbrev":"HR","description":"The T-0 is accurate to the hour."},"probability":null,"weather_concerns":null,"holdreason":"","failreason":"","hashtag":null,"launch_service_provider":{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"},"rocket":{"id":8598,"configuration":{"id":164,"url":"https://ll.thespacedevs.com/2.2.0/config/launcher/164/","name":"Falcon 9","family":"Falcon","full_name":"Falcon 9 Block 5","variant":"Block 5"}},"mission":{"id":7190,"name":"Starlink Group 6-84","description":"A batch of 29 satellites for the Starlink mega-constellation - SpaceX's project for space-based Internet communication system.","launch_designator":null,"type":"Communications","orbit":{"id":8,"name":"Low Earth Orbit","abbrev":"LEO"},"agencies":[{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","featured":true,"type":"Commercial","country_code":"USA","abbrev":"SpX","description":"Space Exploration Technologies Corp., known as SpaceX, is an American aerospace manufacturer and space transport services company headquartered in Hawthorne, California. It was founded in 2002 by entrepreneur Elon Musk with the goal of reducing space transportation costs and enabling the colonization of Mars. SpaceX operates from many pads, on the East Coast of the US they operate from SLC-40 at Cape Canaveral Space Force Station and historic LC-39A at Kennedy Space Center. They also operate from SLC-4E at Vandenberg Space Force Base, California, usually for polar launches. Another launch site is being developed at Boca Chica, Texas.","administrator":"CEO: Elon Musk","founding_year":"2002","launchers":"Falcon | Starship","spacecraft":"Dragon","launch_library_url":null,"total_launch_count":502,"consecutive_successful_launches":24,"successful_launches":487,"failed_launches":14,"pending_launches":118,"consecutive_successful_landings":71,"successful_landings":449,"failed_landings":26,"attempted_landings":474,"info_url":"http://www.spacex.com/","wiki_url":"http://en.wikipedia.org/wiki/SpaceX","logo_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_logo_20220826094919.png","image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_image_20190207032501.jpeg","nation_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_nation_20230531064544.jpg"}],"info_urls":[],"vid_urls":[]},"pad":{"id":87,"url":"https://ll.thespacedevs.com/2.2.0/pad/87/","agency_id":121,"name":"Launch Complex 39A","description":"","info_url":null,"wiki_url":"https://en.wikipedia.org/wiki/Kennedy_Space_Center_Launch_Complex_39#Launch_Pad_39A","map_url":"https://www.google.com/maps?q=28.60822681,-80.60428186","latitude":"28.60822681","longitude":"-80.60428186","location":{"id":27,"url":"https://ll.thespacedevs.com/2.2.0/location/27/","name":"Kennedy Space Center, FL, USA","country_code":"USA","description":"The John F. Kennedy Space Center, located on Merritt Island, Florida, is one of NASA's ten field centers. Since 1968, KSC has been NASA's primary launch center of American spaceflight, research, and technology. Launch operations for the Apollo, Skylab and Space Shuttle programs were carried out from Kennedy Space Center Launch Complex 39 and managed by KSC. Located on the east coast of Florida, KSC is adjacent to Cape Canaveral Space Force Station (CCSFS).","map_image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/map_images/location_27_20200803142447.jpg","timezone_name":"America/New_York","total_launch_count":263,"total_landing_count":0},"country_code":"USA","map_image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/map_images/pad_87_20200803143537.jpg","total_launch_count":205,"orbital_launch_attempt_count":204},"webcast_live":false,"image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/falcon2520925_image_20221009234147.png","infographic":null,"program":[{"id":25,"url":"https://ll.thespacedevs.com/2.2.0/program/25/","name":"Starlink","description":"Starlink is a satellite internet constellation operated by American aerospace company SpaceX","agencies":[{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"}],"image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/starlink_program_20231228154508.jpeg","start_date":"2018-02-22T14:17:00Z","end_date":null,"info_url":"https://starlink.com","wiki_url":"https://en.wikipedia.org/wiki/Starlink","mission_patches":[{"id":7,"name":"Space X Starlink Mission Patch","priority":10,"image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/mission_patch_images/space2520x252_mission_patch_20221011205756.png","agency":{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"}}],"type":{"id":3,"name":"Communication Constellation"}}],"orbital_launch_attempt_count":6945,"location_launch_attempt_count":264,"pad_launch_attempt_count":206,"agency_launch_attempt_count":504,"orbital_launch_attempt_count_year":96,"location_launch_attempt_count_year":12,"pad_launch_attempt_count_year":12,"agency_launch_attempt_count_year":55,"type":"normal"},{"id":"82aef7fd-9664-4e94-970c-5e99eff1b331","url":"https://ll.thespacedevs.com/2.2.0/launch/82aef7fd-9664-4e94-970c-5e99eff1b331/","slug":"long-march-12-satnet-leo-group-tbd","name":"Long March 12 | SatNet LEO Group TBD?","status":{"id":1,"name":"Go for Launch","abbrev":"Go","description":"Current T-0 confirmed by official or reliable sources."},"last_updated":"2025-04-30T07:27:01Z","net":"2025-05-05T11:05:00Z","window_end":"2025-05-05T11:47:00Z","window_start":"2025-05-05T10:57:00Z","net_precision":{"id":2,"name":"Hour","abbrev":"HR","description":"The T-0 is accurate to the hour."},"probability":null,"weather_concerns":null,"holdreason":"","failreason":"","hashtag":null,"launch_service_provider":{"id":88,"url":"https://ll.thespacedevs.com/2.2.0/agencies/88/","name":"China Aerospace Science and Technology Corporation","type":"Government"},"rocket":{"id":8600,"configuration":{"id":517,"url":"https://ll.thespacedevs.com/2.2.0/config/launcher/517/","name":"Long March 12","family":"Long March","full_name":"Long March 12","variant":"12"}},"mission":{"id":7192,"name":"SatNet LEO Group TBD?","description":"A batch of Low Earth Orbit communication satellites for the Chinese state owned SatNet constellation operated by the China Satellite Network Group.\r\n\r\nThe constellation will eventually consists of 13000 satellites.","launch_designator":null,"type":"Communications","orbit":{"id":8,"name":"Low Earth Orbit","abbrev":"LEO"},"agencies":[],"info_urls":[],"vid_urls":[]},"pad":{"id":219,"url":"https://ll.thespacedevs.com/2.2.0/pad/219/","agency_id":null,"name":"Commercial LC-2","description":"","info_url":null,"wiki_url":"https://en.wikipedia.org/wiki/Wenchang_Commercial_Space_Launch_Site","map_url":"https://www.google.com/maps?q=19.59755,110.936481","latitude":"19.59755","longitude":"110.936481","location":{"id":8,"url":"https://ll.thespacedevs.com/2.2.0/location/8/","name":"Wenchang Space Launch Site, People's Republic of China","country_code":"CHN","description":"The Wenchang Space Launch Site is a rocket launch site located in Wenchang on the island of Hainan, in China.\r\n\r\nFormally a suborbital test center, it currently serves as China's southernmost spaceport. The site was selected for its low latitude, 19° north of the equator, allowing for larger payloads to be launched. It is capable of launching the Long March 5, the heaviest Chinese rocket. Unlike launch facilities on the mainland, Wenchang uses its seaport for deliveries.","map_image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/map_images/location_8_20200803142445.jpg","timezone_name":"Asia/Shanghai","total_launch_count":38,"total_landing_count":0},"country_code":"CHN","map_image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/map_images/pad_commercial_lc-2_20231225074048.jpg","total_launch_count":1,"orbital_launch_attempt_count":1},"webcast_live":false,"image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/cz-12_on_its_la_image_20241128132937.jpg","infographic":null,"program":[],"orbital_launch_attempt_count":6946,"location_launch_attempt_count":39,"pad_launch_attempt_count":2,"agency_launch_attempt_count":521,"orbital_launch_attempt_count_year":97,"location_launch_attempt_count_year":5,"pad_launch_attempt_count_year":1,"agency_launch_attempt_count_year":20,"type":"normal"},{"id":"d5e8b971-0138-42d7-a6ba-7d43bf529d5e","url":"https://ll.thespacedevs.com/2.2.0/launch/d5e8b971-0138-42d7-a6ba-7d43bf529d5e/","slug":"falcon-9-block-5-starlink-group-6-93","name":"Falcon 9 Block 5 | Starlink Group 6-93","status":{"id":8,"name":"To Be Confirmed","abbrev":"TBC","description":"Awaiting official confirmation - current date is known with some certainty."},"last_updated":"2025-05-01T02:37:15Z","net":"2025-05-06T00:48:00Z","window_end":"2025-05-06T04:48:00Z","window_start":"2025-05-06T00:48:00Z","net_precision":{"id":2,"name":"Hour","abbrev":"HR","description":"The T-0 is accurate to the hour."},"probability":null,"weather_concerns":null,"holdreason":"","failreason":"","hashtag":null,"launch_service_provider":{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"},"rocket":{"id":8599,"configuration":{"id":164,"url":"https://ll.thespacedevs.com/2.2.0/config/launcher/164/","name":"Falcon 9","family":"Falcon","full_name":"Falcon 9 Block 5","variant":"Block 5"}},"mission":{"id":7191,"name":"Starlink Group 6-93","description":"A batch of satellites for the Starlink mega-constellation - SpaceX's project for space-based Internet communication system.","launch_designator":null,"type":"Communications","orbit":{"id":8,"name":"Low Earth Orbit","abbrev":"LEO"},"agencies":[{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","featured":true,"type":"Commercial","country_code":"USA","abbrev":"SpX","description":"Space Exploration Technologies Corp., known as SpaceX, is an American aerospace manufacturer and space transport services company headquartered in Hawthorne, California. It was founded in 2002 by entrepreneur Elon Musk with the goal of reducing space transportation costs and enabling the colonization of Mars. SpaceX operates from many pads, on the East Coast of the US they operate from SLC-40 at Cape Canaveral Space Force Station and historic LC-39A at Kennedy Space Center. They also operate from SLC-4E at Vandenberg Space Force Base, California, usually for polar launches. Another launch site is being developed at Boca Chica, Texas.","administrator":"CEO: Elon Musk","founding_year":"2002","launchers":"Falcon | Starship","spacecraft":"Dragon","launch_library_url":null,"total_launch_count":502,"consecutive_successful_launches":24,"successful_launches":487,"failed_launches":14,"pending_launches":118,"consecutive_successful_landings":71,"successful_landings":449,"failed_landings":26,"attempted_landings":474,"info_url":"http://www.spacex.com/","wiki_url":"http://en.wikipedia.org/wiki/SpaceX","logo_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_logo_20220826094919.png","image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_image_20190207032501.jpeg","nation_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/spacex_nation_20230531064544.jpg"}],"info_urls":[],"vid_urls":[]},"pad":{"id":80,"url":"https://ll.thespacedevs.com/2.2.0/pad/80/","agency_id":121,"name":"Space Launch Complex 40","description":"","info_url":null,"wiki_url":"https://en.wikipedia.org/wiki/Cape_Canaveral_Air_Force_Station_Space_Launch_Complex_40","map_url":"https://www.google.com/maps?q=28.56194122,-80.57735736","latitude":"28.56194122","longitude":"-80.57735736","location":{"id":12,"url":"https://ll.thespacedevs.com/2.2.0/location/12/","name":"Cape Canaveral SFS, FL, USA","country_code":"USA","description":"Cape Canaveral Space Force Station (CCSFS) is an installation of the United States Space Force's Space Launch Delta 45, located on Cape Canaveral in Brevard County, Florida.","map_image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/map_images/location_12_20200803142519.jpg","timezone_name":"America/New_York","total_launch_count":1020,"total_landing_count":64},"country_code":"USA","map_image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/map_images/pad_80_20200803143323.jpg","total_launch_count":304,"orbital_launch_attempt_count":304},"webcast_live":false,"image":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/falcon2520925_image_20221009234147.png","infographic":null,"program":[{"id":25,"url":"https://ll.thespacedevs.com/2.2.0/program/25/","name":"Starlink","description":"Starlink is a satellite internet constellation operated by American aerospace company SpaceX","agencies":[{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"}],"image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/images/starlink_program_20231228154508.jpeg","start_date":"2018-02-22T14:17:00Z","end_date":null,"info_url":"https://starlink.com","wiki_url":"https://en.wikipedia.org/wiki/Starlink","mission_patches":[{"id":7,"name":"Space X Starlink Mission Patch","priority":10,"image_url":"https://thespacedevs-prod.nyc3.digitaloceanspaces.com/media/mission_patch_images/space2520x252_mission_patch_20221011205756.png","agency":{"id":121,"url":"https://ll.thespacedevs.com/2.2.0/agencies/121/","name":"SpaceX","type":"Commercial"}}],"type":{"id":3,"name":"Communication Constellation"}}],"orbital_launch_attempt_count":6947,"location_launch_attempt_count":1021,"pad_launch_attempt_count":305,"agency_launch_attempt_count":505,"orbital_launch_attempt_count_year":98,"location_launch_attempt_count_year":27,"pad_launch_attempt_count_year":25,"agency_launch_attempt_count_year":56,"type":"normal"}]}

현재까지 준비된 파일 구조

파일 구조는 다음과 같다.
- airflow 폴더 생성
- dags 폴더 생성
- dags 폴더 내에서 step06_rocket_image_download_filename.py 파일

tree
.
├── README.md
├── airflow
│   └── dags
│       ├── step06_rocket_image_download_filename.py
├── install_airflow.sh
└── requirements.txt

파이썬 파일 작업

파일명 : step06_rocket_image_download_filename.py
코드는 다음과 같다.

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python import PythonOperator
from airflow.operators.bash import BashOperator
import requests
import os
from urllib.parse import urlparse
import urllib.parse
import json

# macOS에서 Airflow 네트워크 요청 문제 해결
os.environ['NO_PROXY'] = '*'

# DAG의 기본 인자 설정
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2024, 1, 1),
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=1),
}

def setup_airflow_home():
    """Airflow 홈 디렉토리 설정 및 환경 변수 설정"""
    try:
        # 현재 작업 디렉토리 확인
        current_dir = os.getcwd()
        # Airflow 홈 디렉토리 설정
        airflow_home = os.path.join(current_dir, 'airflow')
        # 환경 변수 설정
        os.environ['AIRFLOW_HOME'] = airflow_home
        print(f"AIRFLOW_HOME 설정됨: {airflow_home}")
        return "AIRFLOW_HOME 환경 변수 설정 완료"
    except Exception as e:
        print(f"AIRFLOW_HOME 설정 중 오류 발생: {str(e)}")
        raise

def get_launch_images():
    """Launch Library 2 API에서 로켓 발사 이미지 URL을 가져오는 함수"""
    api_url = "https://ll.thespacedevs.com/2.2.0/launch/upcoming/?limit=5"
    print(f"API 요청 시작: {api_url}")
    
    try:
        print(f"NO_PROXY 환경변수: {os.environ.get('NO_PROXY')}")
        response = requests.get(api_url, timeout=30)
        print(f"API 응답 받음: 상태 코드 {response.status_code}")
        
        if response.status_code == 200:
            data = response.json()
            launches = data['results']
            image_urls = [launch['image'] for launch in launches if launch.get('image')]
            print(f"총 {len(image_urls)}개의 이미지 URL 찾음")
            return image_urls
        else:
            raise Exception(f"API 요청 실패: {response.status_code}")
            
    except Exception as e:
        print(f"API 요청 중 오류 발생: {str(e)}")
        return [
            "https://spacelaunchnow-prod-east.nyc3.digitaloceanspaces.com/media/launch_images/falcon2520925_image_20230804070848.jpg",
            "https://spacelaunchnow-prod-east.nyc3.digitaloceanspaces.com/media/launcher_images/falcon_9_block__image_20210506060831.jpg"
        ]

def create_rocket_images_dir():
    """rocket_images 디렉토리 생성 - airflow 디렉토리 내에만 생성"""
    try:
        airflow_home = os.environ.get('AIRFLOW_HOME')
        if not airflow_home:
            raise Exception("AIRFLOW_HOME 환경변수가 설정되지 않았습니다.")
        
        # rocket_images 디렉토리 경로 설정 - airflow 디렉토리 내에 생성
        image_dir = os.path.join(airflow_home, 'rocket_images')
        os.makedirs(image_dir, exist_ok=True)
        print(f"rocket_images 디렉토리 생성됨: {image_dir}")
        return image_dir
    except Exception as e:
        print(f"디렉토리 생성 중 오류 발생: {str(e)}")
        raise

def create_output_dir():
    """output 디렉토리 생성 - airflow 디렉토리 내에만 생성"""
    try:
        airflow_home = os.environ.get('AIRFLOW_HOME')
        if not airflow_home:
            raise Exception("AIRFLOW_HOME 환경변수가 설정되지 않았습니다.")
        
        # output 디렉토리 경로 설정 - airflow 디렉토리 내에 생성
        output_dir = os.path.join(airflow_home, 'output')
        os.makedirs(output_dir, exist_ok=True)
        print(f"output 디렉토리 생성됨: {output_dir}")
        return output_dir
    except Exception as e:
        print(f"디렉토리 생성 중 오류 발생: {str(e)}")
        raise

def download_json_data():
    """Launch Library 2 API에서 JSON 데이터를 다운로드하는 함수"""
    try:
        print("JSON 데이터 다운로드 시작")
        api_url = "https://ll.thespacedevs.com/2.2.0/launch/upcoming/?limit=5"
        response = requests.get(api_url, timeout=30)
        
        if response.status_code == 200:
            data = response.json()
            
            # output 디렉토리에 JSON 파일 저장
            output_dir = create_output_dir()
            json_file_path = os.path.join(output_dir, 'launch_data.json')
            
            with open(json_file_path, 'w', encoding='utf-8') as f:
                json.dump(data, f, ensure_ascii=False, indent=4)
            
            print(f"JSON 데이터 저장 완료: {json_file_path}")
            return data
        else:
            raise Exception(f"API 요청 실패: {response.status_code}")
            
    except Exception as e:
        print(f"JSON 데이터 다운로드 중 오류 발생: {str(e)}")
        raise

def download_images():
    """로켓 발사 이미지를 다운로드하는 함수"""
    try:
        print("download_images 함수 시작")
        # JSON 데이터 가져오기
        data = download_json_data()
        launches = data['results']
        
        # AIRFLOW_HOME 환경변수 가져오기
        airflow_home = os.environ.get('AIRFLOW_HOME')
        if not airflow_home:
            raise Exception("AIRFLOW_HOME 환경변수가 설정되지 않았습니다.")
        
        # rocket_images 디렉토리 경로 설정 - airflow 디렉토리 내에 생성
        image_dir = os.path.join(airflow_home, 'rocket_images')
        os.makedirs(image_dir, exist_ok=True)
        print(f"저장 경로: {os.path.abspath(image_dir)}")
        
        downloaded_paths = []
        for idx, launch in enumerate(launches):
            try:
                if not launch.get('image'):
                    continue
                    
                url = launch['image']
                print(f"이미지 다운로드 시도 {idx+1}: {url}")
                response = requests.get(url, timeout=10)
                
                if response.status_code == 200:
                    # 파일 이름 생성 (로켓 이름과 날짜 사용)
                    rocket_name = launch.get('name', f'rocket_{idx + 1}')
                    launch_date = launch.get('net', '').split('T')[0]  # 날짜만 추출
                    safe_name = "".join(c for c in rocket_name if c.isalnum() or c in (' ', '-', '_')).rstrip()
                    file_extension = os.path.splitext(urlparse(url).path)[1] or '.jpg'
                    file_name = f'{safe_name}_{launch_date}{file_extension}'
                    file_path = os.path.join(image_dir, file_name)
                    
                    with open(file_path, 'wb') as f:
                        f.write(response.content)
                    downloaded_paths.append(file_path)
                    print(f"이미지 저장 성공: {file_path}")
                else:
                    print(f"이미지 다운로드 실패 - 상태 코드: {response.status_code}")
            
            except Exception as e:
                print(f"개별 이미지 다운로드 실패 (URL: {url}): {str(e)}")
        
        return f"총 {len(downloaded_paths)}개의 이미지 다운로드 완료"
        
    except Exception as e:
        print(f"전체 프로세스 실패: {str(e)}")
        return f"오류 발생: {str(e)}"

# DAG 정의
dag = DAG(
    'step06_rocket_image_download',
    default_args=default_args,
    description='로켓 발사 이미지 다운로드',
    schedule_interval=timedelta(days=1),
    catchup=False
)

# AIRFLOW_HOME 설정 태스크
setup_env_task = PythonOperator(
    task_id='setup_airflow_home',
    python_callable=setup_airflow_home,
    dag=dag
)

# Hello Airflow 태스크
hello_task = BashOperator(
    task_id='hello_task',
    bash_command='echo "Hello Airflow" && echo "AIRFLOW_HOME: $AIRFLOW_HOME"',
    dag=dag
)

# 디렉토리 생성 태스크
create_dir_task = PythonOperator(
    task_id='create_dir_task',
    python_callable=create_rocket_images_dir,
    dag=dag
)

# JSON 데이터 다운로드 태스크
download_json_task = PythonOperator(
    task_id='download_json_data',
    python_callable=download_json_data,
    dag=dag
)

# 이미지 다운로드 태스크
download_task = PythonOperator(
    task_id='download_rocket_images',
    python_callable=download_images,
    dag=dag
)

# Task 의존성 설정
setup_env_task >> hello_task >> create_dir_task >> download_json_task >> download_task

테스트

파일 작성이 완료가 되면 Airflow 실행을 할 것이다.

$ airflow db reset -y
$ airflow db init

사용자 생성

$ airflow users create \
    --username admin \
    --firstname admin \
    --lastname admin \
    --role Admin \
    --email admin@example.com \
    --password 1234

웹서버 실행

$ airflow webserver -p 8080

다른 bash 터미널 열고 진행

$ export AIRFLOW_HOME=$(pwd)/airflow
$ airflow scheduler

Windows 11 GPU 개발환경 설정 (ver. 2025.04)

Fri, 25 Apr 2025 14:00:47 +0900

개요

내 PC의 GPU 환경 확인 부터 딥러닝 설치까지, Windows 11 환경에서 진행
실패 없이 한번에 설치가 되었다!

내 PC의 GPU 환경 확인

시스템 > 디스플레이 > 고급 디스플레이에서 확인

장치 관리자에서 확인

작업 관리자 > 성능 탭에서 확인

현재 NVIDIA GeForce RTX 4060 그래픽 카드 사용중인 것 확인

NVIDIA Driver 설치

설치 링크 : https://www.nvidia.com/en-us/drivers/

GeForce Game Ready Driver 다운로

다운로드 받은 파일 관리자 권한으로 실행 후, 다음 그림에서 OK 버튼 클릭

MSSQL Connect to Python (ver. 2025.04)

Wed, 23 Apr 2025 00:40:30 +0900

개요

SSMS에 계정 추가
계정 추가 후 Python 라이브러리 활용해서 연동

계정 추가

먼저 Security(보안) > Logins(로그인)에서 마우스 우클릭 진행
- New Login 선택

다음 화면에서 Loing Name은 evan-tester2 명명, Password는 1234로 지정함
- Default Database는 BikeStores로 지정함
- Enforce password policy 체크 박스 해제 (테스트용)

왼쪽 메뉴에서 User Mapping 메뉴 선택
- 하단 옵션에서 db_datawriter 옵션 선택

왼쪽 메뉴에서 Server Roles 선택
- dbcreator, public, sysadmin 선택
선택이 완료되었다면 OK 버튼 클릭

Docker 활용한 django 예제

Thu, 27 Mar 2025 04:00:47 +0900

개요

Docker에서 django 개발환경 만들기
간단한 웹개발 실습

참고자료

한 권으로 배우는 도커 & 쿠버네티스
- 교재 구매 링크 : https://product.kyobobook.co.kr/detail/S000213057687

실습사전조건

가상환경으로 Ubuntu 24.04 LTS
make : 소스코드를 컴파일할 때 사용하는 자동 빌드 도구이다.
build-essential : C/C++ 컴파일에 필요한 기본 컴파일 도구 모음이다.
libssl-dev : SSL/TLS 통신을 위한 OpenSSL 라이브러리 개발 헤더이다.
zlib1g-dev : 압축 알고리즘용 zlib 라이브러리 개발 파일이다.
libbz2-dev : bzip2 압축 알고리즘용 개발 라이브러리이다.
libreadline-dev : 터미널에서 편리한 입력을 가능하게 하는 readline 개발 라이브러리이다.
libsqlite3-dev : SQLite 데이터베이스 개발에 필요한 라이브러리이다.
wget : 파일을 HTTP, HTTPS, FTP로 다운로드할 수 있는 명령줄 도구이다.
curl : 다양한 프로토콜로 데이터를 송수신할 수 있는 명령줄 도구이다.
llvm : C/C++ 등의 언어를 위한 컴파일러 인프라 구조이다.
libncurses5-dev : 터미널 기반 UI(텍스트 기반 사용자 인터페이스)를 만들기 위한 ncurses 라이브러리의 개발 파일이다.
xz-utils : .xz 형식의 압축을 처리할 수 있는 도구이다.
tk-dev : GUI 애플리케이션을 만들 때 사용하는 Tk GUI 툴킷 개발 파일이다.
libxml2-dev : XML 파싱 및 처리 기능을 제공하는 libxml2의 개발 헤더 및 라이브러리이다.
libxmlsec1-dev : XML 디지털 서명 및 암호화를 위한 libxmlsec1의 개발 라이브러리이다.
libffi-dev : 외부 함수 호출을 위한 외부 함수 인터페이스 개발 라이브러리이다.
liblzma-dev : LZMA 압축 알고리즘을 위한 개발 라이브러리이다.
python3-openssl : 파이썬에서 OpenSSL을 사용할 수 있도록 하는 패키지이다.
git : 분산 버전 관리 시스템으로, 소스코드 형상 관리를 도와준다.

sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev python3-openssl git

pyenv 설치

다음 명령어로 실행한다.

$ curl https://pyenv.run | bash
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   270  100   270    0     0    404      0 --:--:-- --:--:-- --:--:--   404
Cloning into '/home/evanjjh/.pyenv'...
remote: Enumerating objects: 1365, done.
remote: Counting objects: 100% (1365/1365), done.
remote: Compressing objects: 100% (725/725), done.
remote: Total 1365 (delta 826), reused 806 (delta 507), pack-reused 0 (from 0)
Receiving objects: 100% (1365/1365), 1.14 MiB | 7.48 MiB/s, done.
Resolving deltas: 100% (826/826), done.
Cloning into '/home/evanjjh/.pyenv/plugins/pyenv-doctor'...
remote: Enumerating objects: 11, done.
remote: Counting objects: 100% (11/11), done.
remote: Compressing objects: 100% (9/9), done.
remote: Total 11 (delta 1), reused 5 (delta 0), pack-reused 0 (from 0)
Receiving objects: 100% (11/11), 38.72 KiB | 1.68 MiB/s, done.
Resolving deltas: 100% (1/1), done.
Cloning into '/home/evanjjh/.pyenv/plugins/pyenv-update'...
remote: Enumerating objects: 10, done.
remote: Counting objects: 100% (10/10), done.
remote: Compressing objects: 100% (6/6), done.
remote: Total 10 (delta 1), reused 5 (delta 0), pack-reused 0 (from 0)
Receiving objects: 100% (10/10), done.
Resolving deltas: 100% (1/1), done.
Cloning into '/home/evanjjh/.pyenv/plugins/pyenv-virtualenv'...
remote: Enumerating objects: 64, done.
remote: Counting objects: 100% (64/64), done.
remote: Compressing objects: 100% (57/57), done.
remote: Total 64 (delta 10), reused 23 (delta 0), pack-reused 0 (from 0)
Receiving objects: 100% (64/64), 43.08 KiB | 2.15 MiB/s, done.
Resolving deltas: 100% (10/10), done.

WARNING: seems you still have not added 'pyenv' to the load path.

# Load pyenv automatically by appending
# the following to 
# ~/.bash_profile if it exists, otherwise ~/.profile (for login shells)
# and ~/.bashrc (for interactive shells) :

export PYENV_ROOT="$HOME/.pyenv"
[[ -d $PYENV_ROOT/bin ]] && export PATH="$PYENV_ROOT/bin:$PATH"
eval "$(pyenv init - bash)"

# Restart your shell for the changes to take effect.

# Load pyenv-virtualenv automatically by adding
# the following to ~/.bashrc:

eval "$(pyenv virtualenv-init -)"

`.bashrc` 파일 설정

먼저 vim을 설치한다.

sudo apt-get update
sudo apt-get install -y vim

.bashrc 파일을 연다

vi ~/.bashrc

파일을 열면 다양한 환경변수 설정 코드가 들어 있다.

VS Code에서 가상머신 접속

Sun, 23 Mar 2025 04:00:47 +0900

사전조건

사전에 가상 머신, VS Code는 설치가 되어 있다고 가정한다.

가상머신 네트워크 설정

Putty로 가상 머신 네트워크에 접속하는 방법 참고 :

VS Code SSH 파일 설정

Extension에서 SSH 검색 후 Remote - SSH 선택

SSH Config 설정
- F1 누르고 SSH 입력
- 메뉴들 중 Connect to Host 선택

Configure SSH Hosts 선택

.ssh\config 메뉴 선택

필자는 기존에 세팅한 옵션 확인

다음과 같이 설정
- User는 가상환경 만들 때 작성했던 username이다.
- 즉 Computer 이름인 evan-master를 기재한다.

VirtualBox 네트워크 설정하기

Sat, 22 Mar 2025 04:00:47 +0900

개요

VirtualBox에서 네트워크 환경을 구축한다.
Putty 프로그램을 통해 Windows 11에서 Ubuntu에 접속한다.

VirtualBox 에서 네트워크 환경 구축

네트워크 관리자 선택
NAT 네트워크 탭 선택

만들기 버튼 클릭, DHCP 활성화 체크 된 상태 유지

가상환경 설정에서 네트워크 선택 (어댑터 1 선택)

가상환경 재 실행 및 포트번호 확인
- inet 10.0.2.15 번호는 사용자 환경에 따라 다를 수 있음

$ ifconfig
enp0s3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.0.2.15  netmask 255.255.255.0  broadcast 10.0.2.255
        inet6 fe80::a00:27ff:fecb:782d  prefixlen 64  scopeid 0x20<link>
        ether 08:00:27:cb:78:2d  txqueuelen 1000  (Ethernet)
        RX packets 14  bytes 3218 (3.2 KB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 84  bytes 10350 (10.3 KB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 37  bytes 4528 (4.5 KB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 37  bytes 4528 (4.5 KB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

포트포워딩

네트워크 관리자에서 NAT 네트워크 선택 - 포트 포워딩 지정후, 다음과 같이 지정
- 호스트 포트번호 : 22
- 게스트 IP : evan-master의 IP 입력
- 게스트 포트번호 : 22 지정

VirtualBox Ubuntu Desktop 24.04 설치

Fri, 21 Mar 2025 04:00:47 +0900

개요

VirtualBox에서 Ubuntu Desktop 설치
윈도우-리눅스 양방햔 간 복사-붙여넣기 구현

VirtualBox Extension Pack 다운로드

VirtualBox Extension Pack : https://www.virtualbox.org/wiki/Downloads
설치 시 VirtualBox 버전과 호환되어야 함

Ubuntu Desktop 설치파일 다운로드

Ubuntu Desktop ISO : https://ubuntu.com/download/desktop

VirtualBox 가상머신 만들기

확장 패키지 추가

도구 > 확장 패키지 관리자 선택

설치파일 불러오기

패키지 설치가 완료가 되면 다음과 같은 화면 확인

가상 머신 만들기

머신 > 새로 만들기 선택

Oracle 19c Installation Using Docker on M1

Sat, 15 Mar 2025 04:00:47 +0900

개요

Docker 활용해서 Oracle 설치하기 on M1
SQL Developer 활용해서 접속 및 테스트하기

사전조건

Docker가 이미 설치가 되어 있다고 가정한다.

Oracle Database 설치 순서

Step 01 : 도커 이미지 가져오기

Clone Oracle’s Docker Images Repository, Open your terminal and run

git clone https://github.com/oracle/docker-images

Step 02 : Oracle Database 19c 파일 다운로드

Download Oracle Database 19c for Linux ARM
- 링크 : https://www.oracle.com/database/technologies/oracle19c-linux-arm64-downloads.html (회원가입 필요)
- 다운로드, LINUX.ARM64_1919000_db_home.zip
- 해당 파일을 docker-images/OracleDatabase/SingleInstance/dockerfiles/19.3.0 디렉토리에 위치 시킴

PostgreSQL 설치 on Windows 11 (2025)

Wed, 12 Mar 2025 04:00:47 +0900

PostgreSQL 설치파일 다운로드

PostreSQL 설치 : https://www.postgresql.org/download/windows/
Download the installer 확인

설치

설치파일 실행 (관리자 권한)

password는 evan1234

포트번호 확인

프로그램 검색 창에서 pgAdmin 4 프로그램 열기

실행되는지 확인

환경변수 설정

경로 복사

시스템 환경 변수 열기 후 복사하기

C:\Program Files\PostgreSQL\17\bin

CMD나 PowerShell에서 확인

C:\Users\campus3S043>psql --version
psql (PostgreSQL) 17.4

AWS SageMaker 개발 환경 설정 on Windows 11 (feat. Anaconda)

Tue, 11 Mar 2025 01:00:47 +0900

개요

Anaconda 설치 (2025년 버전)
Windows 11에서 설치 후 딥러닝 프레임워크 까지 개발환경 설정

다운로드

설치 파일 다운로드 : https://www.anaconda.com/download
Skip Registration 버튼 선택

다음 화면에서 Download 버튼 클릭

설치파일 실행

필자는 관리자 권한으로 실행하는 것을 선호함

어떤 분은 Just Me 선택하기도 하지만, 필자는 All Users 선택

설치 경로 확인

기존에 Python이 설치가 되었더라도 Anaconda 파이썬 기준으로 테스트 할 예정이기 때문에 반드시 체크할 것
확인 버튼 클릭한다.

Amazon SageMaker ML on Local Machine via VS Code

Mon, 10 Mar 2025 09:13:30 +0900

개요

AWS SageMaker 사용하여 ML 코드 생성
VS Code에서 코드 생성
S3 Bucket에서 모델 업로드 및 다운로드 응용하여 테스트 진행 코드

사전조건

SageMaker가 정상적으로 실행되려면 Docker가 필요할 수 있기, Docker를 먼저 설치하기를 바란다.

AWS & SageMaker 연결 설정

I AM 에서 사용자에서 생성한다.
- 참고 : https://dschloe.github.io/aws/2025/03/connect2ec2viaawstoolkit/
Access Key까지 같이 생성한다.
사용자에 대한 I AM Role 도 생성한다.
awsMLDLRole 역할 이름을 부여했다.

Connect EC2 to VSCode using AWS Toolkit (2025 march)

Sun, 09 Mar 2025 12:13:30 +0900

개요

Root 계정에서 사용자 그룹 만들기, I AM 정책
사용자 계정에서 정책과 역할 분배하기
VS Code에서 AWS Toolkit 이용해서 접속하기

사전조건

AWS 회원가입은 완료되어 있고, 로그인이 된 상태라 가정한다.
VS Code에서 AWS Toolkit 설치가 되어 있다고 가정한다.

Root 계정에서 I AM 계정 만들기

사용자 생성

I AM 검색 후 사용자 클릭, 사용자 생성 버튼을 클릭한다.

사용자 세부 정보에서 사용자 이름 선택
AWS Management Console에 대한 사용자 액세스 권한 제공 – 선택 사항
- IAM 사용자를 생성하고 싶음
콘솔 암호 지정
- A!234567890
사용자는 다음 로그인 시 새 암호를 생성해야 합니다 - 권장 체크 해제

AWS EC2 생성하기 (2025 march)

Sun, 09 Mar 2025 09:13:30 +0900

개요

EC2 프리티어 생성하기
주요 개발환경 설정하기 (Ubuntu 기반)

EC2 프리티어 생성 및 연결

계정 로그인 후, EC2 서비스 검색 후, EC2 클릭

인스턴스란, “구현된 컴퓨터”라고 생각한다. 인스턴스 시작 버튼을 클릭한다.

이제 본격적인 설계도를 하나 생성한다.
필자는 lectureServer01 이라고 명명했다.

다목적 개발이 목적이라면 Ubuntu(Linux)를 추천. 프리티어가 아닌 OS도 있으니 유의한다.

Python 라이브러리 설치 확인

Fri, 07 Mar 2025 01:40:47 +0900

개요

requirements.txt 파일에 명시된 패키지들의 설치 여부와 버전을 확인하는 코드
각 패키지에 대해 현재 환경에 설치된 버전을 출력하며, 설치되지 않은 경우 메시지 표시

예시

requirements.txt 파일에 다음과 같은 패키지가 있다고 가정한다.
또한 가상 환경에 이미 아래 라이브러리가 설치가 되어 있다고 가정한다.

polars
pandas
numpy
matplotlib
seaborn
scikit-learn
graphviz
statsmodels
jupyterlab
pyarrow
deltalake
xlsx2csv
xlsxwriter
openpyxl
xlrd

먼저 설치된 라이브러리 전체 개수를 확인한다.

import pkg_resources

# 현재 환경에 설치된 모든 패키지 목록과 버전 조회
installed_packages = [f"{dist.project_name}=={dist.version}" 
                     for dist in pkg_resources.working_set]
print(len(installed_packages))

[결과]
132

이번에는 각 패키지에 대해 현재 환경에 설치된 버전을 출력하며, 설치되지 않은 경우 메시지 표시한다.

import pkg_resources

# requirements.txt 파일에 명시된 패키지들의 설치 여부와 버전을 확인하는 코드
# 각 패키지에 대해 현재 환경에 설치된 버전을 출력하며, 설치되지 않은 경우 메시지 표시
packages = [
    'polars', 'pandas', 'numpy', 'matplotlib', 'seaborn', 'scikit-learn', 'graphviz', 'statsmodels', 'jupyterlab', 'pyarrow', 'deltalake', 'xlsx2csv', 'xlsxwriter', 'openpyxl', 'xlrd'
]

# 각 패키지를 순회하면서 버전 정보 확인
for package in packages:
    try:
        # pkg_resources를 사용하여 설치된 패키지의 버전 정보 조회
        version = pkg_resources.get_distribution(package).version
        print(f"{package}: {version}")
    except pkg_resources.DistributionNotFound:
        # 패키지가 설치되지 않은 경우 예외 처리
        print(f"{package}: 설치되지 않음")
        
[결과]
polars: 1.22.0
pandas: 2.2.3
numpy: 2.0.2
matplotlib: 3.9.4
seaborn: 0.13.2
scikit-learn: 1.6.1
graphviz: 0.20.3
statsmodels: 0.14.4
jupyterlab: 4.3.5
pyarrow: 19.0.0
deltalake: 0.24.0
xlsx2csv: 0.8.4
xlsxwriter: 3.2.2
openpyxl: 3.1.5
xlrd: 2.0.1

Connect to AWS via VS Code (2025 버전)

Thu, 06 Mar 2025 01:00:47 +0900

개요

VS Code가 설치가 되어 있다고 가정한다.
AWS 제품을 VS Code를 통해서 연결하도록 한다.

Prerequisites

VS Code requires a Windows, macOS, or Linux operating system.
The AWS Toolkit for Visual Studio Code requires you to work from VS Code version 1.73.0 or a later version.

AWS 회원가입

회원가입이 되어 있다면 이 부분은 생략한다.
회원가입을 진행한다.
- 주소 : https://signin.aws.amazon.com/signup?request_type=register

이메일 인증절차 진행 후, PW 등록한다.

연락처 정보를 입력한다.

결제 정보를 기재한다.

LangChain with Streamlit 논문요약 예제

Sun, 09 Feb 2025 01:40:47 +0900

개요

LangChain의 기본 개념에 대해 살펴본다.
LangChain을 활용하며 간단한 웹앱을 구현한다.
각 사용자가 본인의 API를 입력하면 해당 기능을 사용할 수 있도록 구현한다.

LangChain의 기본개념

LangChain은 대규모 언어 모델(LLM)을 활용한 애플리케이션 개발을 위한 프레임워크입니다.
주요 특징과 장점은 다음과 같다.
- 모듈성
  - 다양한 LLM과 도구들을 쉽게 통합하고 교체할 수 있다.
  - 재사용 가능한 컴포넌트를 제공한다.
- 체이닝(Chaining)
  - 여러 컴포넌트를 연결하여 복잡한 워크플로우를 구성할 수 있다.
  - 프롬프트, LLM 호출, 출력 파싱 등을 순차적으로 처리한다
- 메모리 관리
  - 대화 기록을 저장하고 관리할 수 있다.
  - 문맥을 유지하면서 대화형 애플리케이션을 만들 수 있다.
- 다양한 통합
  - 여러 AI 모델(OpenAI, Anthropic 등)을 지원한다.
  - 데이터베이스, 검색 엔진 등 외부 도구와 연동이 가능하다.
- 개발 편의성
  - 파이썬 기반의 직관적인 API를 제공한다.
  - 풍부한 문서와 예제가 제공된다.

LangChain을 활용한 프로젝트 구조 만들기

API 키를 입력하면 해당 기능을 사용할 수 있도록 구현한다.
구현 프로세스
- API 키 입력 화면 구현
- 입력된 API 키를 활용한 기능 구현
- 웹앱 레이아웃 구성
- 사용자 친화적인 인터페이스 제공
PDF논문 요약 기능 구현
- 논문 PDF 파일 업로드
- 논문 요약 기능 구현
- 요약 결과 표시 (각 챕터별)
웹앱 레이아웃 구성
- 사용자 친화적인 인터페이스 제공
- 논문 요약 기능 구현
- 요약 결과 표시
먼저 테스트성으로 jupyter notebook으로 구현
- jupyter notebook에서는 .env 파일에 있는 API 키를 불러오는 형태로 구현한다.
- 논문은 files 폴더에 있는 논문 1개를 사용한다.

참고 논문

참고 논문은 정부 훈련비 지원 수준이 직업능력개발훈련 성과에 미치는 영향 분석이다.

jupyter notebook 테스트

코드는 아래와 같다.

# 필요한 라이브러리 임포트
import os
from langchain.chat_models import ChatOpenAI  # OpenAI의 ChatGPT 모델을 사용하기 위한 클래스
from langchain_core.prompts import ChatPromptTemplate  # 채팅 프롬프트 템플릿 생성을 위한 클래스
from langchain_core.output_parsers import StrOutputParser  # 출력을 문자열로 파싱하기 위한 클래스
from langchain_community.document_loaders import PyPDFLoader  # PDF 파일을 로드하기 위한 클래스
from langchain.text_splitter import RecursiveCharacterTextSplitter  # 텍스트를 청크로 분할하기 위한 클래스
from docx import Document  # Word 문서 생성을 위한 클래스
from dotenv import load_dotenv  # 환경 변수 로드를 위한 모듈
from datetime import datetime  # 날짜/시간 처리를 위한 클래스

# .env 파일에서 환경 변수 로드
load_dotenv()

# 환경 변수에서 OpenAI API 키 가져오기
openai_api_key = os.getenv("OPENAI_API_KEY")

# API 키가 존재하는지 확인
if not openai_api_key:
    raise ValueError("OPENAI_API_KEY 환경 변수를 찾을 수 없습니다. .env 파일을 확인해주세요.")

# files 디렉토리에서 PDF 파일 찾기
pdf_files = [f for f in os.listdir("files") if f.endswith('.pdf')]
if not pdf_files:
    raise ValueError("files 디렉토리에서 PDF 파일을 찾을 수 없습니다")

# 첫 번째 PDF 파일의 전체 경로 생성
pdf_path = os.path.join(os.getcwd(), "files", pdf_files[0])

# PDF 파일 로드 및 페이지 분할
loader = PyPDFLoader(pdf_path)
pages = loader.load_and_split()

# 텍스트 분할기 설정 - 큰 청크 사이즈로 설정하여 컨텍스트 유지
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=4000,  # 각 청크의 최대 문자 수
    chunk_overlap=400,  # 청크 간 중복되는 문자 수
    length_function=len
)

# 페이지들을 청크로 분할
texts = text_splitter.split_documents(pages)

# 텍스트를 전반부와 후반부 두 개의 파트로 병합
if len(texts) > 2:
    # 전반부 텍스트 병합
    first_half = " ".join([t.page_content for t in texts[:len(texts)//2]])
    # 후반부 텍스트 병합
    second_half = " ".join([t.page_content for t in texts[len(texts)//2:]])
    texts = [
        {"content": first_half, "part": "전반부"},
        {"content": second_half, "part": "후반부"}
    ]

# LangChain의 ChatOpenAI 모델 설정
llm = ChatOpenAI(
    openai_api_key=openai_api_key,
    model="gpt-3.5-turbo",  # GPT-3.5 모델 사용
    temperature=0.1,  # 낮은 temperature로 일관된 출력 생성
    max_tokens=1000  # 충분한 길이의 요약을 위한 토큰 수 설정
)

# 요약을 위한 프롬프트 템플릿 설정
prompt = ChatPromptTemplate.from_messages([
    ("system", "당신은 전문 학술 연구원입니다. 다음 학술 논문 파트를 주요 포인트와 핵심 발견사항을 중심으로 한글로 포괄적이고 상세하게 요약해주세요."),
    ("user", "다음 텍스트를 한글로 요약해주세요. 이 텍스트는 논문의 {part}입니다:\n\n{text}\n\n반드시 한글로 요약해주시고, 영어 전문용어가 있다면 한글 설명을 덧붙여주세요.")
])

# 프롬프트, LLM, 출력 파서를 연결하는 체인 생성
chain = prompt | llm | StrOutputParser()

# Word 문서 객체 생성
doc = Document()
doc.add_heading('논문 요약', 0)

# 현재 시간을 파일명에 포함시키기 위한 형식 지정
current_time = datetime.now().strftime("%Y%m%d_%H%M%S")

# 각 파트별로 요약 실행 및 Word 문서에 추가
for i, text in enumerate(texts):
    print(f"파트 {i+1}/2 요약 중...")
    # 체인을 실행하여 요약 생성
    summary = chain.invoke({"text": text["content"], "part": text["part"]})
    
    # Word 문서에 요약 내용 추가
    doc.add_heading(f'{text["part"]} 요약', level=1)
    doc.add_paragraph(summary)
    doc.add_paragraph('-' * 40)  # 구분선 추가
    
    # 콘솔에 요약 출력
    print(f"\n{text['part']} 요약:")
    print(summary)
    print("-" * 80)

# 생성된 Word 문서를 저장
output_path = f"논문_요약_{current_time}.docx"
doc.save(output_path)
print(f"\n한글 요약본이 {output_path}에 저장되었습니다")

위 코드를 실제 실행하면 다음과 같은 결과가 나온다.

OpenAI Whisper 사용 위한 ffmpeg 설치

Sat, 08 Feb 2025 01:00:47 +0900

개요

OpenAI의 Whisper 사용을 위해 필수적으로 설치해야 할 ffmpeg 설치 예제
각 OS별 설치 명령어 확인
Windows에서 패키지 관리자가 없을 경우 설치 방법 안내

OS별 설치 명령어

# Windows (chocolatey 사용)
choco install ffmpeg

# Windows (scoop 사용)
scoop install ffmpeg

# macOS (homebrew 사용)
brew install ffmpeg

# Ubuntu/Debian
sudo apt update
sudo apt install ffmpeg

# CentOS/RHEL
sudo yum install epel-release
sudo yum install ffmpeg ffmpeg-devel

# Fedora
sudo dnf install ffmpeg ffmpeg-devel

패키지 관리자가 없을 경우

공식 웹사이트 방문 : https://ffmpeg.org/download.html

Google Colab & Jupyter Notebook에서 dotenv 사용법

Sun, 02 Feb 2025 01:00:47 +0900

개요

환경 변수를 코드 내에 직접 작성하는 것은 보안상 위험할 수 있다. 이를 방지하기 위해 .env 파일을 사용하여 환경 변수를 저장하고, dotenv 라이브러리를 활용해 이를 불러올 수 있다.

이번 글에서는 Google Colab 및 Jupyter Notebook에서 dotenv 사용법을 다룬다.

1. `dotenv`란?

dotenv는 .env 파일에 저장된 환경 변수를 쉽게 로드할 수 있도록 도와주는 라이브러리이다. 이를 활용하면 API 키, 데이터베이스 접속 정보 등을 안전하게 관리할 수 있다.

Python에서는 python-dotenv을 사용한다.

2. `dotenv` 설치하기

Jupyter Notebook 또는 Google Colab에서 설치

!pip install python-dotenv

설치가 완료되면 환경 변수를 저장할 .env 파일을 생성한다.

OS별 환경변수 설정 (Linux & macOS / Windows)

Sat, 01 Feb 2025 01:00:47 +0900

1. Linux & macOS

1.1 임시 환경변수 설정 (현재 세션에서만 유효)

export 변수명=값

예)

export PATH=$PATH:/usr/local/bin
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-17.jdk/Contents/Home

위 설정은 현재 터미널 세션에서만 유효하며, 터미널을 닫으면 사라진다.

1.2 영구 환경변수 설정

(1) Bash Shell (bash 사용 시)

~/.bashrc 또는 **~/.bash_profile*에 추가

export 변수명=값

예)

export PATH=$PATH:/usr/local/bin
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-17.jdk/Contents/Home

적용:

source ~/.bashrc   # 또는 source ~/.bash_profile

(2) Zsh Shell (macOS 기본 Shell)

~/.zshrc 파일 수정:

export 변수명=값

예)

export PATH=$PATH:/usr/local/bin
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-17.jdk/Contents/Home

적용:

대한민국 최신 행정구역(SHP) 다운로드 (2025 version)

Tue, 21 Jan 2025 01:40:47 +0900

개요

2023년 12월 이후의 최신 행정구역(SHP) 데이터 다운로드 방법 변경
사이트 : http://www.gisdeveloper.co.kr/?p=2332

지오서비스웹(GEOSERVICE-WEB)의 아카이브 통해서 다운로드

회원가입 - 지오서비스웹(GEOSERVICE-WEB)

사이트 : https://www.geoservice.co.kr/

회원가입 서비스 계정 약관

닉네임 / 실명 입력
- 닉네임 : jjh430
- 실명 : 정지훈

비밀번호 입력 : tkfkdgo486!

이메일 / 휴대폰 입력

인증코드 확인

Flutter on Cursor AI on M1

Fri, 03 Jan 2025 01:03:28 +0900

개요

Cursor AI 에서 Flutter 설치를 해본다.
사전에 VS Code, Flutter 설치가 되어 있다고 가정한다.

Flutter 설치

먼저 Curosr AI에 접속한다.
Command + Shift + X를 선택한다.
검색창에서 flutter 검색 후, Install 버튼을 클릭한다.

설치 확인

Command + Shift + P 선택 후, Flutter: Run Flutter Doctor 선택한다.

Flutter 프로젝트 실시

Command + Shift + P 선택 후, New Project 선택한다.
Application을 선택한다.

HuggingFace Login on Google Colab

Fri, 03 Jan 2025 01:00:47 +0900

Google Colab에서 허깅페이스 로그인

개요

Google Colab에서 허깅페이스 로그인 하는 방법 기재
허깅페이스 회원가입은 이미 되어 있는 것으로 가정

허깅페이스 토큰값 가져오기

프로필 클릭 > Settings > Access Tokens >

Create New Token 선택

Token name에 이름 입력 후, 스크롤 하단에서 Create Token 버튼 선택

토큰값 획득을 한다.

Google Colab에서 허깅페이스 로그인

다음 코드 입력 후 실행

from huggingface_hub import notebook_login
notebook_login()

Android Studio 설치, MacOS

Mon, 30 Dec 2024 01:00:47 +0900

개요

Android Studio를 MacOS에서 설치를 하도록 한다.

사이트 접속

사이트 : https://developer.android.com/studio

화면 중간에 Download 버튼을 클릭 후 다운로드를 진행한다.
아래 화면에서 본인 환경에 맞는 Mac을 설치한다. 필자는 Mac with Apple Chip 을 선택했다.
아래와 같은 화면에서 Android Studio를 Applications 폴더로 이동 시킨다.

Android Studio 설정

Android Studio 프로그램을 실행하면 아래와 같이 설정 부분이 나온다.
Next 버튼을 누른다.

Flutter 플러터 설치, MacOS M1

Sun, 29 Dec 2024 01:00:47 +0900

개요

MacOS에서 Flutter를 설치한다.

사이트 접속

사이트 : Flutter https://flutter.dev/
오른쪽 상단의 Get Started 를 선택한다.

MacOS를 선택한다.

필자는 Android App 개발을 하고 싶기 때문에, Android를 선택하였다.

추가로 다음 명령어를 실행한다.

sudo softwareupdate --install-rosetta --agree-to-license

스크롤을 내리면 Download and install 를 선택한다. 그리고 본인의 OS에 맞는 것을 선택한다. 필자는 M1이기 때문에 Apple Silicon 을 선택하였다.

Nasdaq Data Link를 활용한 데이터 수집

Mon, 16 Dec 2024 01:00:47 +0900

개요

Nasdaq Data Link은 금융 및 경제 데이터를 제공하는 플랫폼으로, 특히 투자자, 연구자, 그리고 데이터 애널리스트들에게 유용
기존 quandl에서 2018년에 Nasdaq에 인수되었으며, 주식, 채권, 선물, 외환, 경제 지표 등 다양한 데이터를 제공
그러나 Free 데이터에서 유의미한 데이터를 찾기에는 부족함을 느낌

Nasdaq Data Link의 주요 기능

데이터 제공
- 금융 시장 데이터 (주식, 상품, 금리 등)
- 경제 데이터 (GDP, 실업률, 소비자 물가 지수 등)
- 대체 데이터 (소셜미디어 트렌드, 위성 이미지 분석, 물류 데이터 등)
API 기반 접근
- Python, R, Excel 등 다양한 도구에서 API를 사용해 데이터를 불러올 수 있음.
데이터 품질
- 검증된 데이터를 제공하며, 여러 프리미엄 데이터와 함께 무료 데이터도 사용할 수 있음.
데이터 다운로드
- CSV, Excel, JSON, XML 포맷으로 다운로드 가능하며, 시계열 분석에 최적화되어 있음.

회원가입

API를 통해서 데이터 수집을 하도록 한다.
사이트 : https://data.nasdaq.com/publishers/QDL

Kaggle ML Submission 클래스 만들기

Sun, 15 Dec 2024 01:00:47 +0900

개요

취업 준비생 들에게 필요한 캐글 연습 코드 클래스로 구현함
- 학습에서 제출까지 자동화하는 것에 목적을 둠
클래스에 대한 기본적인 이해가 있다는 전제하에 작성
전체 코드는 다음과 같다.

import numpy as np
import pandas as pd
import shap
import matplotlib.pyplot as plt

# 데이터 처리 및 모델링 라이브러리
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.preprocessing import StandardScaler, LabelEncoder, OrdinalEncoder
from sklearn.impute import SimpleImputer
from sklearn.metrics import (
    mean_squared_error, mean_absolute_error, 
    r2_score, mean_absolute_percentage_error
)
from sklearn.ensemble import RandomForestRegressor

# 부스팅 모델
import xgboost as xgb
import lightgbm as lgb
from catboost import CatBoostRegressor

# Matplotlib 설정 
plt.rcParams.update({'font.size': 9})  # 원하는 크기로 설정 (예: 10)

class DataPreprocessor:
    """
    데이터 전처리 클래스
    """
    def __init__(self, train_path, test_path):
        self.train_data = pd.read_csv(train_path)
        self.test_data = pd.read_csv(test_path)
    
    def preprocess(self, target_column):
        """
        데이터 전처리 메서드
        - 결측치 처리 전략 개선
        - 문자열 컬럼 Ordinal Encoding
        """
        # 타겟 분리
        X = self.train_data.drop(columns=[target_column])
        y = self.train_data[target_column]
        X_test = self.test_data.copy()
        
        # 결측치 처리 전략 개선
        def handle_missing_values(df):
            # 숫자형 변수 - 중앙값 대체
            numeric_columns = df.select_dtypes(include=['int64', 'float64']).columns
            df[numeric_columns] = df[numeric_columns].fillna(df[numeric_columns].median())
            
            # 범주형 변수 - 최빈값 대체
            categorical_columns = df.select_dtypes(include=['object']).columns
            df[categorical_columns] = df[categorical_columns].fillna(df[categorical_columns].mode().iloc[0])
            
            return df
        
        # 결측치 처리
        X = handle_missing_values(X)
        X_test = handle_missing_values(X_test)
        
        # 문자열 컬럼 식별
        categorical_columns = X.select_dtypes(include=['object']).columns
        
        # Ordinal Encoder 초기화
        ordinal_encoder = OrdinalEncoder(
            handle_unknown='use_encoded_value', 
            unknown_value=-1
        )
        
        # 훈련 및 테스트 데이터에 인코딩 적용
        if len(categorical_columns) > 0:
            # 전체 데이터 결합하여 인코딩
            combined_categorical = pd.concat([X[categorical_columns], X_test[categorical_columns]])
            
            # 인코더 훈련
            ordinal_encoder.fit(combined_categorical)
            
            # 훈련 데이터 인코딩
            X[categorical_columns] = ordinal_encoder.transform(X[categorical_columns])
            
            # 테스트 데이터 인코딩
            X_test[categorical_columns] = ordinal_encoder.transform(X_test[categorical_columns])
        
        return X, y, X_test, ordinal_encoder

class EvaluationMetrics:
    """
    모델 평가 지표 클래스
    """
    @staticmethod
    def rmse(y_true, y_pred):
        return np.sqrt(mean_squared_error(y_true, y_pred))
    
    @staticmethod
    def mae(y_true, y_pred):
        return mean_absolute_error(y_true, y_pred)
    
    @staticmethod
    def r2(y_true, y_pred):
        return r2_score(y_true, y_pred)
    
    @staticmethod
    def mape(y_true, y_pred):
        return mean_absolute_percentage_error(y_true, y_pred)

class SHAPExplainer:
    """
    SHAP 설명 및 시각화 클래스
    """
    def __init__(self, model, X):
        self.model = model
        self.X = X
    
    def tree_explainer(self):
        """트리 기반 모델용 SHAP 설명"""
        explainer = shap.TreeExplainer(self.model)
        shap_values = explainer.shap_values(self.X)
        return explainer, shap_values
    
    def plot_feature_importance(self, shap_values, feature_names):
        """특성 중요도 플롯"""
        plt.figure(figsize=(10, 6))
        shap.summary_plot(shap_values, self.X, feature_names=feature_names)
        plt.title("SHAP Feature Importance")
        plt.tight_layout()
        plt.show()

class BaseMLDL:
    """
    기본 ML/DL 모델 베이스 클래스
    """
    def __init__(self, X, y, test_size=0.2, random_state=42):
        # 데이터 분할
        self.X_train, self.X_val, self.y_train, self.y_val = train_test_split(
            X, y, test_size=test_size, random_state=random_state
        )
        
        # 스케일링
        self.scaler = StandardScaler()
        self.X_train_scaled = self.scaler.fit_transform(self.X_train)
        self.X_val_scaled = self.scaler.transform(self.X_val)
        
        self.model = None
        self.predictions = None
    
    def train(self):
        raise NotImplementedError("하위 클래스에서 구현해야 합니다.")
    
    def predict(self):
        raise NotImplementedError("하위 클래스에서 구현해야 합니다.")
    
    def evaluate(self):
        """모델 평가"""
        self.predictions = self.predict()
        return {
            'RMSE': EvaluationMetrics.rmse(self.y_val, self.predictions),
            'MAE': EvaluationMetrics.mae(self.y_val, self.predictions),
            'R2': EvaluationMetrics.r2(self.y_val, self.predictions),
            'MAPE': EvaluationMetrics.mape(self.y_val, self.predictions)
        }

# 각 모델 클래스 구현 (RandomForest, XGBoost, LightGBM, CatBoost 등)
class RandomForestModel(BaseMLDL):
    def train(self, n_estimators=100, **kwargs):
        self.model = RandomForestRegressor(n_estimators=n_estimators, **kwargs)
        self.model.fit(self.X_train_scaled, self.y_train)
    
    def predict(self):
        return self.model.predict(self.X_val_scaled)

class XGBoostModel(BaseMLDL):
    def train(self, n_estimators=100, **kwargs):
        self.model = xgb.XGBRegressor(n_estimators=n_estimators, **kwargs)
        self.model.fit(self.X_train_scaled, self.y_train)
    
    def predict(self):
        return self.model.predict(self.X_val_scaled)

class LightGBMModel(BaseMLDL):
    def train(self, n_estimators=100, **kwargs):
        self.model = lgb.LGBMRegressor(n_estimators=n_estimators, **kwargs)
        self.model.fit(self.X_train_scaled, self.y_train)
    
    def predict(self):
        return self.model.predict(self.X_val_scaled)

class CatBoostModel(BaseMLDL):
    def train(self, iterations=100, **kwargs):
        self.model = CatBoostRegressor(iterations=iterations, **kwargs)
        self.model.fit(self.X_train_scaled, self.y_train)
    
    def predict(self):
        return self.model.predict(self.X_val_scaled)

class KaggleSubmission:
    """
    Kaggle 제출 자동화 클래스
    """
    def __init__(self, preprocessor):
        self.preprocessor = preprocessor
    
    def submit(self, model, X_test, submission_path, id_column, target_column):
        """제출 파일 생성"""
        # 테스트 데이터 스케일링
        X_test_scaled = model.scaler.transform(X_test)
        
        # 예측
        predictions = model.model.predict(X_test_scaled)
        
        # 제출 파일 생성
        submission = pd.DataFrame({
            'id' : X_test['id'],
            'Premium Amount' : predictions
        })
        submission.to_csv(submission_path, index=False)
        print(f"제출 파일 생성: {submission_path}")

def compare_shap_feature_importance(models, X, save_path='shap_comparison.png'):
    """
    여러 모델의 SHAP 디테일 특성 중요도를 한 그래프에 시각화 및 저장
    
    Args:
        models (list): 비교할 모델 리스트
        X (pd.DataFrame): 특성 데이터
        save_path (str): 저장할 파일 경로
    """
    # 모델별 SHAP 값 저장할 딕셔너리
    model_shap_values = {}
    
    # 각 모델의 SHAP 값 계산
    for model_info in models:
        model = model_info['model']
        model_name = model_info['name']
        
        try:
            # SHAP 설명자 생성
            shap_explainer = SHAPExplainer(model.model, X)
            _, shap_values = shap_explainer.tree_explainer()
            
            # SHAP 값 저장
            model_shap_values[model_name] = shap_values
        
        except Exception as e:
            print(f"{model_name} SHAP 분석 중 오류: {e}")
    
    # 모델 수에 따른 동적 서브플롯 설정
    n_models = len(model_shap_values)
    
    # 행과 열 계산 (정사각형에 가깝게)
    import math
    n_cols = math.ceil(math.sqrt(n_models))
    n_rows = math.ceil(n_models / n_cols)
    
    # 큰 피규어 생성 (디테일 플롯만)
    plt.figure(figsize=(20*n_cols, 5*n_rows))
    
    # 각 모델의 SHAP 특성 중요도 시각화
    for idx, (model_name, shap_values) in enumerate(model_shap_values.items(), 1):
        plt.subplot(n_rows, n_cols, idx)
        
        # SHAP 디테일 플롯
        shap.summary_plot(
            shap_values, 
            X, 
            show=False,
        )
        plt.gca().set_xlabel('') 
        
        # 제목 추가
        plt.title(f"SHAP Detail - {model_name}", fontsize=11)
    
    plt.tight_layout()
    
    # 피규어 저장 (디테일 플롯만)
    plt.savefig(save_path, dpi=1000, bbox_inches='tight')
    print(f"SHAP 디테일 비교 그래프가 {save_path}에 저장되었습니다.")
    
    # 선택적으로 화면에 표시
    plt.show()

def main():
    # 데이터 전처리
    preprocessor = DataPreprocessor('playground-series-s4e12/train.csv', 'playground-series-s4e12/test.csv')
    X, y, X_test, ordinal_encoder = preprocessor.preprocess('Premium Amount')
    
    # 모델 학습 및 평가
    models = [
        RandomForestModel(X, y),
        XGBoostModel(X, y),
        LightGBMModel(X, y),
        CatBoostModel(X, y),
    ]
    
    # Kaggle 제출 클래스 초기화
    submission_handler = KaggleSubmission(preprocessor)
    
    # 모델별 성능 저장할 딕셔너리
    model_performances = {}
    model_shap_info = []
    
    # 모델별 성능 평가 및 SHAP 분석
    for model in models:
        try:
            # 모델 학습
            model.train()
            
            # 성능 평가
            metrics = model.evaluate()
            print(f"{model.__class__.__name__} 성능:")
            for metric, value in metrics.items():
                print(f"{metric}: {value}")
            
            # 모델 성능 저장 (RMSE를 기준으로)
            model_performances[model.__class__.__name__] = {
                'model': model,
                'rmse': metrics['RMSE']
            }
            
            # SHAP 정보 저장
            model_shap_info.append({
                'name': model.__class__.__name__,
                'model': model
            })
        
        except Exception as model_error:
            print(f"{model.__class__.__name__} 처리 중 오류: {model_error}")
            continue
    
    # 모델 간 SHAP 특성 중요도 비교
    compare_shap_feature_importance(model_shap_info, X)
    
    # 최적 모델 선택 (RMSE 기준 최소값)
    if model_performances:
        best_model_name = min(model_performances, key=lambda k: model_performances[k]['rmse'])
        best_model = model_performances[best_model_name]['model']
        
        print(f"\n최적 모델: {best_model_name}")
        print(f"최적 모델 RMSE: {model_performances[best_model_name]['rmse']}")
        
        # 최적 모델로 Kaggle 제출
        submission_handler.submit(
            best_model, 
            X_test, 
            'best_model_submission.csv', 
            'id', 
            'Premium Amount'
        )
        
        # 모든 모델의 성능 비교 CSV로 저장
        performance_df = pd.DataFrame.from_dict(
            {name: {'RMSE': data['rmse']} for name, data in model_performances.items()}, 
            orient='index'
        )
        performance_df.to_csv('model_performance_comparison.csv')
        print("\n모델 성능 비교 결과가 'model_performance_comparison.csv'에 저장되었습니다.")
    else:
        print("모델 학습에 실패했습니다.")

if __name__ == "__main__":
    main()

코드의 주요 기능은 다음과 같음
- 데이터 전처리
- 다양항 모델 학습 및 평가 (Random Forest, XGBoost, LightGBM, CatBoost)
- SHAP(Shapley Additive Explanations)을 활용한 특성 중요도 분석
- 모델 성능 비교 및 최적 모델 선택
- 최적 모델 기반 Kaggle 제출 파일 생성

주요 클래스 설명

DataPreprocessor

데이터 전처리를 담당하는 클래스입니다.
주요 기능:
- 결측치 처리: 숫자형 데이터는 중앙값, 범주형 데이터는 최빈값으로 대체.
- Ordinal Encoding: 문자열 데이터를 수치형으로 변환.
- 훈련 데이터(train.csv)와 테스트 데이터(test.csv)를 받아 전처리 후 반환.

class DataPreprocessor:
    """
    데이터 전처리 클래스
    """
    def __init__(self, train_path, test_path):
        self.train_data = pd.read_csv(train_path)
        self.test_data = pd.read_csv(test_path)
    
    def preprocess(self, target_column):
        """
        데이터 전처리 메서드
        - 결측치 처리 전략 개선
        - 문자열 컬럼 Ordinal Encoding
        """
        # 타겟 분리
        X = self.train_data.drop(columns=[target_column])
        y = self.train_data[target_column]
        X_test = self.test_data.copy()
        
        # 결측치 처리 전략 개선
        def handle_missing_values(df):
            # 숫자형 변수 - 중앙값 대체
            numeric_columns = df.select_dtypes(include=['int64', 'float64']).columns
            df[numeric_columns] = df[numeric_columns].fillna(df[numeric_columns].median())
            
            # 범주형 변수 - 최빈값 대체
            categorical_columns = df.select_dtypes(include=['object']).columns
            df[categorical_columns] = df[categorical_columns].fillna(df[categorical_columns].mode().iloc[0])
            
            return df
        
        # 결측치 처리
        X = handle_missing_values(X)
        X_test = handle_missing_values(X_test)
        
        # 문자열 컬럼 식별
        categorical_columns = X.select_dtypes(include=['object']).columns
        
        # Ordinal Encoder 초기화
        ordinal_encoder = OrdinalEncoder(
            handle_unknown='use_encoded_value', 
            unknown_value=-1
        )
        
        # 훈련 및 테스트 데이터에 인코딩 적용
        if len(categorical_columns) > 0:
            # 전체 데이터 결합하여 인코딩
            combined_categorical = pd.concat([X[categorical_columns], X_test[categorical_columns]])
            
            # 인코더 훈련
            ordinal_encoder.fit(combined_categorical)
            
            # 훈련 데이터 인코딩
            X[categorical_columns] = ordinal_encoder.transform(X[categorical_columns])
            
            # 테스트 데이터 인코딩
            X_test[categorical_columns] = ordinal_encoder.transform(X_test[categorical_columns])
        
        return X, y, X_test, ordinal_encoder

EvaluationMetrics

모델 성능을 평가하기 위한 지표를 제공합니다.
값이 작을수록 모델의 예측이 실제 값과 더 가까움을 의미합니다.
제공되는 지표:
- RMSE (Root Mean Squared Error)
- MAE (Mean Absolute Error) : 예측값과 실제값 간 절대 오차의 평균
- R² Score (결정 계수) : 모델의 예측이 실제 데이터를 얼마나 잘 설명하는지
- MAPE (Mean Absolute Percentage Error) : 예측값과 실제값 간의 상대적인 오차를 백분율

class EvaluationMetrics:
    """
    모델 평가 지표 클래스
    """
    @staticmethod
    def rmse(y_true, y_pred):
        return np.sqrt(mean_squared_error(y_true, y_pred))
    
    @staticmethod
    def mae(y_true, y_pred):
        return mean_absolute_error(y_true, y_pred)
    
    @staticmethod
    def r2(y_true, y_pred):
        return r2_score(y_true, y_pred)
    
    @staticmethod
    def mape(y_true, y_pred):
        return mean_absolute_percentage_error(y_true, y_pred)

@staticmethod 적용 이유
- EvaluationMetrics 클래스의 메서드는 입력값 y_true, y_pred만 필요하며, 클래스의 상태(속성)와 무관.
- 따라서 이 메서드를 정적 메서드로 정의하여 클래스의 다른 부분과 독립적으로 동작할 수 있도록 설계
- 직접 호출 가능 클래스명.메서드명() 형태로 호출

SHAPExplainer

SHAP 분석 및 시각화를 담당
주요 기능
- tree_explainer(): 트리 기반 모델(XGBoost, LightGBM, Random Forest)에서 SHAP 값을 계산.

class SHAPExplainer:
    """
    SHAP 설명 및 시각화 클래스
    """
    def __init__(self, model, X):
        self.model = model
        self.X = X
    
    def tree_explainer(self):
        """트리 기반 모델용 SHAP 설명"""
        explainer = shap.TreeExplainer(self.model)
        shap_values = explainer.shap_values(self.X)
        return explainer, shap_values

BaseMLDL

머신러닝 및 딥러닝 모델의 공통 동작을 정의하는 베이스 클래스
주요 메서드:
- train(): 모델 학습. (하위 클래스에서 구현)
- predict(): 모델 예측. (하위 클래스에서 구현)
- evaluate(): 평가 지표를 계산.

class BaseMLDL:
    """
    기본 ML/DL 모델 베이스 클래스
    """
    def __init__(self, X, y, test_size=0.2, random_state=42):
        # 데이터 분할
        self.X_train, self.X_val, self.y_train, self.y_val = train_test_split(
            X, y, test_size=test_size, random_state=random_state
        )
        
        # 스케일링
        self.scaler = StandardScaler()
        self.X_train_scaled = self.scaler.fit_transform(self.X_train)
        self.X_val_scaled = self.scaler.transform(self.X_val)
        
        self.model = None
        self.predictions = None
    
    def train(self):
        raise NotImplementedError("하위 클래스에서 구현해야 합니다.")
    
    def predict(self):
        raise NotImplementedError("하위 클래스에서 구현해야 합니다.")
    
    def evaluate(self):
        """모델 평가"""
        self.predictions = self.predict()
        return {
            'RMSE': EvaluationMetrics.rmse(self.y_val, self.predictions),
            'MAE': EvaluationMetrics.mae(self.y_val, self.predictions),
            'R2': EvaluationMetrics.r2(self.y_val, self.predictions),
            'MAPE': EvaluationMetrics.mape(self.y_val, self.predictions)
        }

주요 모델 클래스 정의

BaseMLDL을 상속받아 각 알고리즘에 맞게 동작을 구현한 클래스.
- RandomForestModel: Random Forest Regressor 모델.
- XGBoostModel: XGBoost Regressor 모델.
- LightGBMModel: LightGBM Regressor 모델.
- CatBoostModel: CatBoost Regressor 모델.
각 클래스의 train을 재정의할 수 있습니다. 하이퍼파라미터 튜닝을 시행할 수 있다.

# 각 모델 클래스 구현 (RandomForest, XGBoost, LightGBM, CatBoost 등)
class RandomForestModel(BaseMLDL):
    def train(self, n_estimators=100, **kwargs):
        self.model = RandomForestRegressor(n_estimators=n_estimators, **kwargs)
        self.model.fit(self.X_train_scaled, self.y_train)
    
    def predict(self):
        return self.model.predict(self.X_val_scaled)

class XGBoostModel(BaseMLDL):
    def train(self, n_estimators=100, **kwargs):
        self.model = xgb.XGBRegressor(n_estimators=n_estimators, **kwargs)
        self.model.fit(self.X_train_scaled, self.y_train)
    
    def predict(self):
        return self.model.predict(self.X_val_scaled)

class LightGBMModel(BaseMLDL):
    def train(self, n_estimators=100, **kwargs):
        self.model = lgb.LGBMRegressor(n_estimators=n_estimators, **kwargs)
        self.model.fit(self.X_train_scaled, self.y_train)
    
    def predict(self):
        return self.model.predict(self.X_val_scaled)

class CatBoostModel(BaseMLDL):
    def train(self, iterations=100, **kwargs):
        self.model = CatBoostRegressor(iterations=iterations, **kwargs)
        self.model.fit(self.X_train_scaled, self.y_train)
    
    def predict(self):
        return self.model.predict(self.X_val_scaled)

KaggleSubmission

최적 모델을 사용해 Kaggle 제출 파일을 생성

Windows Microsoft C++ Build Tools 설정

Tue, 10 Dec 2024 01:00:47 +0900

개요

Python 라이브러리 설치 시, 가끔 C++ 라이브러리 설치가 필요할 수 있다.

위와 같이 에러가 발생할 때 C++ 라이브러리를 설치를 한다.

설치방법

사이트 : https://visualstudio.microsoft.com/ko/visual-cpp-build-tools/

Build Tools 다운로드 버튼 클릭 후 관리자 권한으로 실행

아래와 같이 C++를 사용한 데스크톱 개발 선택 후, 설치

설치하는 데 다소 시간이 필요함

설치가 완료되면 재부팅을 한다.

파이썬 라이브러리 다시 설치

중간에 보면 cp312가 보이는데, C++을 활용해서 설치가 되었다는 것을 의미한다.

Cursor AI 소개 및 설치

Sun, 24 Nov 2024 01:00:47 +0900

웹사이트

https://www.cursor.com/

회원가입

Settings

가격정책(Pricing)

프로그램 설치 (Windows)

기존에 Visual Studio Code가 설치가 되어 있어야 한다.

실행 또는 (관리자 권한)으로 실행

Continue 버튼 선택

Use Extensions 선택

Data Preferences는 독자 취향에 맞게 선택한다. 필자는 Help Improve Cursor를 선택한다.

개인 계정 확인 후, Yes, Log in 버튼 클릭

Visual Studio Code 확인

이제 Visual Studio Code에 Cursor AI가 업데이트가 되었는지 확인해본다.
그러기 위해서는, 먼저 Github에서 새로운 Repository를 하나 생성한다. 필자는 cursor_ai_project로 명명했다.
해당 Repo를 생성한 후, git clone으로 다운로드 받는다.
Visual Studio Code에서 해당 Repository를 열면, 다음과 같은 화면이 나올 것이다.

Crontab으로 Git Commit Automation with sh 파일 on M1

Sat, 28 Sep 2024 01:00:47 +0900

개요

Mac Crontab으로 SH 파일을 실행하도록 한다.

SH 파일 작성

주요 내용은 아래와 같이 작성한다. (파일명 : deploy.sh)

#!/bin/bash
echo "Git Push Starting..."

cd /Users/evan/Desktop/alphaco_test

# Check out repo
git add -A
git commit -m "Automated commit on $(date '+%Y-%m-%d %H:%M:%S')"
git push

수동 업로드

수동으로 업로드 하기 위해 파일 권한을 열어준다.
- 777은 소유자, 그룹, 다른 모든 사용자에게 읽기, 쓰기, 실행 권한 부여하는 명령어를 말한다.

chmod 777 deploy.sh

실행

해당 파일이 있는 경로에서 deploy.sh 파일을 실행한다.

~$ ./deploy.sh

Crontab 등록

싸이트 소개 : https://crontab.guru/

Deep Learning Loss Function

Fri, 16 Aug 2024 10:30:47 +0900

딥러닝 손실 함수 (Loss Function) 개요

딥러닝에서 손실 함수는 모델의 예측과 실제 값 사이의 차이를 측정하는 중요한 요소. 다양한 종류의 손실 함수가 있으며, 문제의 특성에 따라 적절한 함수를 선택해야 함.

주요 손실 함수 설명

평균 제곱 오차 (Mean Squared Error, MSE)

유형 : 회귀
공식 :

$$ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$
설명:
- $y_i$ : 실제 값
- $\hat{y}_i$ : 예측 값
- $n$ : 데이터 포인트의 수
사용 용도

Docker-Compose와 Dockerfile을 활용한 Flask-MySQL 연동 예제

Tue, 02 Jul 2024 10:30:47 +0900

개요

Docker-Compose와 Dockerfile의 주요 기능을 이해한다.
각 파일의 위치와 주요 기능을 이해한다.

전체 프로젝트 파일 디렉터리

본 프로젝트의 전체 코드는 다음과 같다.
실제 코드 작성을 해야하는 곳은 다음과 같다.
- app.py
- requirements.txt
- init.sql
- docker-compose.yml
- Dockerfile

docker_kubernetes_flask/
├── app/
│   ├── __init__.py
│   ├── app.py
│   └── requirements.txt
├── db/
│   ├── init.sql
│   └── data/ (This will be created by Docker)
├── docker-compose.yml
└── Dockerfile

사전준비

사전에 Docker는 Desktop 설치가 되어 있다고 가정한다.
코드 편집을 위해서는 Visual Studio Code를 활용한다.

Docker가 익숙하지 않은 사람들을 위한 1줄 요약

MySQL 설치하고, Python 설치하고, 두개 또 연동해야 하고, CLI 명령어 또 각각 입력하는거 다 자동화 해줄게요!!
즉, 자동화에 익숙해지자!

docker-compose와 Dockerfile 간단 비교

docker-compose.yml : python 컨테이너와 mysql 컨테이너를 각각 한꺼번에 구성하도록 스크립트를 작성함
Dockerfile : 여기에서는 python 개발환경을 구성함
docker-compose.yml에서 Dockerfile을 호출하여 개발환경을 만들도록 지시할 수 있음

전체 코드 흐름 1줄 요약

From MySQL to Python Flask

init.sql과 app.py 간단 설명

각 두개의 파일은 사전에 미리 작성을 해둔다.

MySQL : init.sql

이 SQL 코드는 데이터베이스와 테이블을 생성하고, 테이블에 데이터를 삽입하는 작업을 수행.
- test_db 데이터베이스 생성
- users 테이블 생성
- 간단하게 이름 생성

CREATE DATABASE IF NOT EXISTS test_db;

USE test_db;

CREATE TABLE IF NOT EXISTS users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(255) NOT NULL
);

INSERT INTO users (name) VALUES ('Evan');
INSERT INTO users (name) VALUES ('Sara');
INSERT INTO users (name) VALUES ('Lotto');

Python : app.py

이 Python 코드는 Flask 웹 애플리케이션을 설정하여 MySQL 데이터베이스에 연결하고, 사용자 데이터를 JSON 형식으로 반환하는 작업을 수행.

from flask import Flask, jsonify
import mysql.connector
import os

app = Flask(__name__)

def get_db_connection():
    connection = mysql.connector.connect(
        host='mysql',
        user='root',
        password='example',
        database='test_db'
    )
    return connection

@app.route('/')
def index():
    connection = get_db_connection()
    cursor = connection.cursor()
    cursor.execute('SELECT * FROM users')
    users = cursor.fetchall()
    cursor.close()
    connection.close()
    users_list = [{"id": user[0], "name": user[1]} for user in users]
    return jsonify(users_list)

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

좀더 구체적으로 살펴본다.

step 01 - 라이브러리 불러오기

Flask: Flask 웹 애플리케이션 프레임워크를 불러오기
jsonify: 데이터를 JSON 형식으로 변환하여 HTTP 응답으로 반환하는 데 사용
mysql.connector: MySQL 데이터베이스에 연결하기 위해 사용

from flask import Flask, jsonify
import mysql.connector
import os

step 02 - Flask Application Setup

Flask 애플리케이션 인스턴스를 생성. __name__은 현재 모듈의 이름을 전달하여 Flask 애플리케이션을 생성하는 데 사용.

app = Flask(__name__)

step 03 - Database Connection Function

get_db_connection 함수는 MySQL 데이터베이스에 연결하고, 연결 객체를 반환.
host, user, password, database 매개변수는 데이터베이스에 연결하기 위한 정보

def get_db_connection():
    connection = mysql.connector.connect(
        host='mysql',
        user='root',
        password='example',
        database='test_db'
    )
    return connection

step 04 - Index Route

@app.route('/'): 해당 Decorator는 URL (’/’)에 대한 요청을 처리하는 index 함수를 정의.
index 함수의 내용은 다음과 같이 구성됨
- get_db_connection을 호출하여 데이터베이스에 연결.
- 연결 객체에서 커서를 생성하고, SELECT * FROM users 쿼리를 실행하여 users 테이블의 모든 데이터를 가져오기
- 데이터를 가져온 후 커서와 연결을 닫기
- users 데이터를 List Comprehension을 사용하여 딕셔너리 형태로 변환합니다. 각 사용자에 대해 id와 name 키를 가지는 딕셔너리를 생성.
  - 이 부분은 별도의 HTML 소스코드를 넣지 않기 위해서 진행한 것이니, 해당 자세한 내용을 보기를 원한다면 Flask 웹개발로 더 공부할 것 권장
- 변환된 리스트를 jsonify를 사용하여 JSON 형식으로 반환.

@app.route('/')
def index():
    connection = get_db_connection()
    cursor = connection.cursor()
    cursor.execute('SELECT * FROM users')
    users = cursor.fetchall()
    cursor.close()
    connection.close()
    users_list = [{"id": user[0], "name": user[1]} for user in users]
    return jsonify(users_list)

step 05 - Running the Application

모듈이 직접 실행될 때만 Flask 애플리케이션을 실행
- app.run 메소드를 호출하여 애플리케이션을 시작.
- host='0.0.0.0': 애플리케이션이 모든 네트워크 인터페이스에서 접근 가능하도록 설정.
- port=5000: 애플리케이션이 5000번 포트에서 실행되도록 설정.

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

Python : requirements.txt

주요 라이브러리 설치 위해 필요한 라이브러리 2개만 설치
추후에 독자가 라이브러리 추가 가능

Flask
mysql-connector-python

Docker: Dockerfile

Dockerfile은 Python 애플리케이션을 컨테이너화하기 위한 스크립트
다른 파일과 달리 확장자명이 없다는 것에 주의
다양한 옵션에 대해 설명하도록 한다.

FROM python:3.10-slim

WORKDIR /app

COPY app/requirements.txt .

RUN pip install --no-cache-dir -r requirements.txt

COPY app/ .

EXPOSE 5000

CMD ["python", "app.py"]

step 01 - FROM

FROM python:3.10-slim

Base Image를 선택한다. 해당 이미지를 선택하려면 Docker Hub 검색창에서 확인 (Login 필수)
각 Base Image를 선택하면 관련 Tag가 존재하며 여기에서 Tags 확인해서 입력하도록 한다.
꼭 Docker Official Image 를 선택한다.

Streamlit on Google Colab

Thu, 20 Jun 2024 01:40:47 +0900

개요

개발환경설정이 어려운 환경에서 Google Colab 상에서 Streamlit 설치 및 실행을 익히고자 한다.
주로 강의 목적으로 사용하기를 바란다.

Streamlit 라이브러리 설치

아래 코드를 활용하여 streamlit 라이브러리 설치

!pip install -q streamlit

Streamlit 코드 작성 샘플

아래와 같이 코드를 작성 후, app.py로 내보내기를 한다.
magics from Jupyter : [Jupyter’s magics page](https://nbviewer.org/github/ipython/ipython/blob/1.x/examples/notebooks/Cell Magics.ipynb)

%%writefile app.py

import streamlit as st
import plotly.graph_objs as go
from plotly.subplots import make_subplots
import seaborn as sns

@st.cache_data
def load_data():
    df = sns.load_dataset('tips')
    return df

def main():
    st.title("Streamlit with Plotly")   
    tips = load_data()

    # 데이터가공
    m_tips = tips.loc[tips['sex'] == 'Male', :]
    f_tips = tips.loc[tips['sex'] == 'Female', :]

    # 시각화 차트
    fig = make_subplots(rows = 1,
                        cols = 2,
                        subplot_titles=('Male', 'Female'),
                        shared_yaxes=True,
                        shared_xaxes=True,
                        x_title='Total Bill($)'
                        )
    fig.add_trace(go.Scatter(x = m_tips['total_bill'], y = m_tips['tip'], mode='markers'), row=1, col=1)
    fig.add_trace(go.Scatter(x = f_tips['total_bill'], y = f_tips['tip'], mode='markers'), row=1, col=2)
    fig.update_yaxes(title_text="Tip($)", row=1, col=1)
    fig.update_xaxes(range=[0, 60])
    fig.update_layout(showlegend=False)
    
    # 중요포인트
    # fig.show()
    st.plotly_chart(fig, use_container_width=True)

if __name__ == "__main__":
    main()

Oracle VM Box 양방향 복사 붙이기

Thu, 23 May 2024 01:00:47 +0900

개요

VirtualBox를 통해 복사 붙이기 등을 하려고 함

사전작업 1 - 우분투 패키지 업그레이드

터미널을 열고 아래 코드를 순차적으로 입력

sudo apt update

업그레이 명령어 입력

sudo apt upgrade

사전작업 2 - 게스트 확장 설치

우선 주요 라이브러리 설치 진행

sudo apt install gcc make perl

게스트 확장 CD 이미지 삽입 메뉴 클릭

해당 디렉터리를 열고, 마우스 우클릭 > 터미널에서 열기 실행

ls 명령어 실행
- VBoxLinuxAdditions.run 파일이 있는지 확인

ls

Ubuntu install on M1

Tue, 21 May 2024 01:00:47 +0900

개요

M1에서 Ubuntu를 설치하는 방법에 대해 기술한다.

Ubuntu 24.04 LTS 다운로드

Ubuntu Download를 진행한다.
- 다운로드 받을 시, arm으로 다운로드 받아야 한다.
- 다른 아키텍처로 다운로드 받을 시 리눅스가 활성화가 되지 않는다.
사이트 : https://ubuntu.com/download/server/arm

최신버전의 경우 잘 되지 않을수도 있다. 따라서 22.04.04 버전으로 변경하였다.
- 사이트 : https://cdimage.ubuntu.com/releases/22.04.4/release/

UTM 다운로드

사이트 : https://mac.getutm.app/

UTM 가상머신 생성

UTM을 실행하면 아래와 같은 화면이 나온다.
Create a New Virtual Machine을 선택한다.

gcloud installation on Mac, SSH Connection with VSCode

Mon, 22 Apr 2024 10:00:30 +0900

개요

gcloud를 Mac에서 설치를 하도록 한다.
참조 : https://cloud.google.com/sdk/docs/install-sdk?hl=ko

설치파일 다운로드

각 사용자 버전에 맞는 설치 파일을 다운로드 받는다.
- 필자는 M1 silicon 버전을 사용하기로 하였다.
- Desktop > gcloud_install 내부에 해당 파일을 다운로드 받았다.

압축을 풀면 아래와 같이 google-cloud-sdk 폴더 안애 install.sh 파일이 있다.

설치파일 실행

해당 폴더에 있는 파일에 접속해서 install.sh 파일을 실행한다.

$ {your_location}/google-cloud-sdk/install.sh
Welcome to the Google Cloud CLI!

To help improve the quality of this product, we collect anonymized usage data
and anonymized stacktraces when crashes are encountered; additional information
is available at <https://cloud.google.com/sdk/usage-statistics>. This data is
handled in accordance with our privacy policy
<https://cloud.google.com/terms/cloud-privacy-notice>. You may choose to opt in this
collection now (by choosing 'Y' at the below prompt), or at any time in the
future by running the following command:

    gcloud config set disable_usage_reporting false

Do you want to help improve the Google Cloud CLI (y/N)? y

Your current Google Cloud CLI version is: 471.0.0
The latest available version is: 472.0.0

┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│                                                     Components                                                     │
├──────────────────┬──────────────────────────────────────────────────────┬──────────────────────────────┬───────────┤
│      Status      │                         Name                         │              ID              │    Size   │
├──────────────────┼──────────────────────────────────────────────────────┼──────────────────────────────┼───────────┤
│ Update Available │ BigQuery Command Line Tool                           │ bq                           │   1.7 MiB │
│ Update Available │ Google Cloud CLI Core Libraries                      │ core                         │  18.4 MiB │
│ Not Installed    │ App Engine Go Extensions                             │ app-engine-go                │   4.5 MiB │
│ Not Installed    │ Appctl                                               │ appctl                       │  18.5 MiB │
│ Not Installed    │ Artifact Registry Go Module Package Helper           │ package-go-module            │   < 1 MiB │
│ Not Installed    │ Cloud Bigtable Command Line Tool                     │ cbt                          │  16.7 MiB │
│ Not Installed    │ Cloud Bigtable Emulator                              │ bigtable                     │   7.0 MiB │
│ Not Installed    │ Cloud Datastore Emulator                             │ cloud-datastore-emulator     │  36.2 MiB │
│ Not Installed    │ Cloud Firestore Emulator                             │ cloud-firestore-emulator     │  44.8 MiB │
│ Not Installed    │ Cloud Pub/Sub Emulator                               │ pubsub-emulator              │  63.3 MiB │
│ Not Installed    │ Cloud Run Proxy                                      │ cloud-run-proxy              │  11.3 MiB │
│ Not Installed    │ Cloud SQL Proxy v2                                   │ cloud-sql-proxy              │  13.2 MiB │
│ Not Installed    │ Google Container Registry's Docker credential helper │ docker-credential-gcr        │           │
│ Not Installed    │ Kustomize                                            │ kustomize                    │   7.4 MiB │
│ Not Installed    │ Log Streaming                                        │ log-streaming                │  11.9 MiB │
│ Not Installed    │ Minikube                                             │ minikube                     │  33.6 MiB │
│ Not Installed    │ Nomos CLI                                            │ nomos                        │  28.6 MiB │
│ Not Installed    │ On-Demand Scanning API extraction helper             │ local-extract                │  13.7 MiB │
│ Not Installed    │ Skaffold                                             │ skaffold                     │  22.8 MiB │
│ Not Installed    │ Terraform Tools                                      │ terraform-tools              │  63.6 MiB │
│ Not Installed    │ anthos-auth                                          │ anthos-auth                  │  20.7 MiB │
│ Not Installed    │ config-connector                                     │ config-connector             │  55.6 MiB │
│ Not Installed    │ enterprise-certificate-proxy                         │ enterprise-certificate-proxy │   8.3 MiB │
│ Not Installed    │ gcloud Alpha Commands                                │ alpha                        │   < 1 MiB │
│ Not Installed    │ gcloud Beta Commands                                 │ beta                         │   < 1 MiB │
│ Not Installed    │ gcloud app Java Extensions                           │ app-engine-java              │ 126.2 MiB │
│ Not Installed    │ gcloud app PHP Extensions                            │ app-engine-php               │  21.9 MiB │
│ Not Installed    │ gcloud app Python Extensions                         │ app-engine-python            │   5.0 MiB │
│ Not Installed    │ gcloud app Python Extensions (Extra Libraries)       │ app-engine-python-extras     │   < 1 MiB │
│ Not Installed    │ gke-gcloud-auth-plugin                               │ gke-gcloud-auth-plugin       │   7.4 MiB │
│ Not Installed    │ kpt                                                  │ kpt                          │  14.4 MiB │
│ Not Installed    │ kubectl                                              │ kubectl                      │   < 1 MiB │
│ Not Installed    │ kubectl-oidc                                         │ kubectl-oidc                 │  20.7 MiB │
│ Not Installed    │ pkg                                                  │ pkg                          │           │
│ Installed        │ Cloud Storage Command Line Tool                      │ gsutil                       │  11.3 MiB │
│ Installed        │ Google Cloud CRC32C Hash Tool                        │ gcloud-crc32c                │   1.2 MiB │
└──────────────────┴──────────────────────────────────────────────────────┴──────────────────────────────┴───────────┘
To install or remove components at your current SDK version [471.0.0], run:
  $ gcloud components install COMPONENT_ID
  $ gcloud components remove COMPONENT_ID

To update your SDK installation to the latest version [472.0.0], run:
  $ gcloud components update

Modify profile to update your $PATH and enable shell command completion?

Do you want to continue (Y/n)?  y

The Google Cloud SDK installer will now prompt you to update an rc file to bring
 the Google Cloud CLIs into your environment.

Enter a path to an rc file to update, or leave blank to use 
[/Users/evan/.bash_profile]:  
Backing up [/Users/evan/.bash_profile] to [/Users/evan/.bash_profile.backup].
[/Users/evan/.bash_profile] has been updated.

==> Start a new shell for the changes to take effect.

Google Cloud CLI works best with Python 3.11 and certain modules.

Download and run Python 3.11 installer? (Y/n)?  Y
Running Python 3.11 installer, you may be prompted for sudo password...
Password: # your_password
installer: Package name is Python
installer: Upgrading at base path /
installer: The upgrade was successful.
Setting up virtual environment
Creating virtualenv...
Installing modules...
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 89.7/89.7 kB 4.6 MB/s eta 0:00:00
  Installing build dependencies ... done
  Getting requirements to build wheel ... done
  Preparing metadata (pyproject.toml) ... done
   ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 59.0/59.0 kB 5.9 MB/s eta 0:00:00
   ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.0/10.0 MB 33.9 MB/s eta 0:00:00
   ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 163.8/163.8 kB 16.1 MB/s eta 0:00:00
   ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 5.3/5.3 MB 42.0 MB/s eta 0:00:00
   ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 176.7/176.7 kB 15.4 MB/s eta 0:00:00
   ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 117.6/117.6 kB 10.4 MB/s eta 0:00:00
  Building wheel for crcmod (pyproject.toml) ... done

Updates are available for some Google Cloud CLI components.  To install them,
please run:
  $ gcloud components update

Virtual env enabled.

For more information on how to get started, please visit:
  https://cloud.google.com/sdk/docs/quickstarts

gcloud CLI를 초기화하려면 gcloud init 을 실행한다.

$ ./google-cloud-sdk/bin/gcloud init
Welcome! This command will take you through the configuration of gcloud.

Your current configuration has been set to: [default]

You can skip diagnostics next time by using the following flag:
  gcloud init --skip-diagnostics

Network diagnostic detects and fixes local network connection issues.
Checking network connection...done.                                            
Reachability Check passed.
Network diagnostic passed (1/1 checks passed).

You must log in to continue. Would you like to log in (Y/n)?  Y

Your browser has been opened to visit:

    https://accounts.google.com/o/oauth2/....S256

You are logged in as: [your_email@gmail.com].

Pick cloud project to use: 
 [1] chickenbot-a185e
 [2] encoded-phalanx-420600
 [3] streamlit-gitaction-403105
 [4] streamlit-project-416601
 [5] Enter a project ID
 [6] Create a new project
Please enter numeric choice or text value (must exactly match list item):  2

gcloud Installation on Windows 11 - New Configuration

Sun, 21 Apr 2024 10:00:30 +0900

개요

신규로 설치를 하는 것은 아래 링크를 참조한다.
- 링크 : https://dschloe.github.io/gcp/2023/09/gcloud_installation_windows11/
기존에 설치 후, 재설치 할 때의 과정을 리뷰 한다.

재설치

재설치의 마지막 화면은 다음과 같다.
Pick configuration to use, Section에서 2번을 선택한다.

이후 CMD 화면이 팝업화가 된다.

Welcome to the Google Cloud CLI! Run "gcloud -h" to get the list of available commands.
---
Welcome! This command will take you through the configuration of gcloud.

Settings from your current configuration [default] are:
accessibility:
  screen_reader: 'True'
compute:
  region: asia-northeast3
  zone: asia-northeast3-a
core:
  account: your_existing@gmail.com
  disable_usage_reporting: 'False'
  project: mulcampfp

Pick configuration to use:
 [1] Re-initialize this configuration [default] with new settings
 [2] Create a new configuration
Please enter your numeric choice:  2

이번에는 Enter configuration name이 있다. 이 때, 접속하고자 하는 [mulcamp-project-abc] 프로젝트를 입력한다.
이 때, 참고하고자 하는 프로젝트 정보에서 Project ID와 매칭되는 것을 선택한다.

Enter configuration name. Names start with a lower case letter and contain only lower case letters a-z, digits 0-9, and
hyphens '-':  mulcamp-project-abc
Your current configuration has been set to: [mulcamp-project-abc]

기존 이메일 주소를 선택하거나 또는 다른 이메일을 선택한다. 필자는 1번으로 선택하였다.

You can skip diagnostics next time by using the following flag:
  gcloud init --skip-diagnostics

Network diagnostic detects and fixes local network connection issues.
Checking network connection...done.
Reachability Check passed.
Network diagnostic passed (1/1 checks passed).

Choose the account you would like to use to perform operations for this configuration:
 [1] your_email@gmail.com
 [2] Log in with a new account
Please enter your numeric choice: 1

로그인 이후에는 기존 이메일 계정에 있는 프로젝트 목록이 활성화 될 것이다.

Github Actions with GCE, SSH-Key 값 등록

Fri, 19 Apr 2024 10:00:30 +0900

개요

Github Actions 강의 중, 애매한 부분을 정리하였다.
Github Actions에 대한 전체 코드는 여기에서 다루지는 않는다.

SSH-Key 값 설정

GCE에서 Github와 연동을 위해서는 Key값을 생성해야 한다.
본인의 구글클라우드 이메일을 추가하여 아래와 같이 코드를 실행한다.
GCP의 ID와 Github의 이메일 주소가 다른 분들이 있다. 이럴 경우 문제가 발생할 수 있다.
- 주의 : Github 이메일 주소가 아님

$ ssh-keygen -t rsa -b 4096 -C "your@gmail.com"

Github SSH Key값 생성

ssh의 public 키값을 복사한다.

$ cat .ssh/id_rsa.pub 
ssh-rsa AAAAB3...Q== your@gmail.com

Github SSH 등록

public key값을 복사하여 아래 SSH and GPG keys 값에 복사한다.

django-web on GCE

Thu, 18 Apr 2024 01:40:47 +0900

개요

django-web을 GCE에 설치 및 배포를 간단하게 진행하도록 한다.

사전준비

Google Cloud Platform 회원가입은 미리 진행했고, GCE 인스턴스를 생성할 줄 아는 상태임을 전제로 한다.
Miniconda 설치가 끝난 상황임을 가정한다.
- Miniconda Linux 설치 : https://docs.anaconda.com/free/miniconda/
Miniconda 설치

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

설치 후, 새로 설치한 미니콘다를 초기화합니다. 다음 명령은 bash 및 zsh 셸을 초기화

~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh

django on GCE

GCE Shell에서 django를 설치한다.

pip install django

django의 버전을 확인한다.

django-admin --version
5.0.4

project 명령어를 입력한다.

django-admin startproject mysite

서버를 실행해본다.
- 경로를 mysite에 이동 시킨 후 아래 명령어를 실행한다.

$ python manage.py makemigrations
$ python manage.py migrate
Operations to perform:
  Apply all migrations: admin, auth, contenttypes, sessions
Running migrations:
  Applying contenttypes.0001_initial... OK
  Applying auth.0001_initial... OK
  Applying admin.0001_initial... OK
  Applying admin.0002_logentry_remove_auto_add... OK
  Applying admin.0003_logentry_add_action_flag_choices... OK
  Applying contenttypes.0002_remove_content_type_name... OK
  Applying auth.0002_alter_permission_name_max_length... OK
  Applying auth.0003_alter_user_email_max_length... OK
  Applying auth.0004_alter_user_username_opts... OK
  Applying auth.0005_alter_user_last_login_null... OK
  Applying auth.0006_require_contenttypes_0002... OK
  Applying auth.0007_alter_validators_add_error_messages... OK
  Applying auth.0008_alter_user_username_max_length... OK
  Applying auth.0009_alter_user_last_name_max_length... OK
  Applying auth.0010_alter_group_name_max_length... OK
  Applying auth.0011_update_proxy_permissions... OK
  Applying auth.0012_alter_user_first_name_max_length... OK
  Applying sessions.0001_initial... OK

$ python manage.py runserver
...

April 18, 2024 - 05:13:47
Django version 5.0.4, using settings 'mysite.settings'
Starting development server at http://127.0.0.1:8000/
Quit the server with CONTROL-C.

Spark Code 실행 예제

Thu, 11 Apr 2024 01:40:47 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
- 인프런 : https://inf.run/YPniH

개요

현재 러닝 스파크 교재를 배우고 있다.
해당 교재는 주로 00.py에서 실행하는 방법으로 안내하고 있지만, Google Colab에서 어떻게 변환하는지 확인해보고자 한다.

Spark 설정

Spark 설치 버전은 아래 링크에서 확인한다.
- 주소 : https://spark.apache.org/downloads.html

Download 버튼을 클릭하면 아래와 같은 화면이 나온다.
- 주소를 복사한다. https://dlcdn.apache.org/spark/spark-3.5.1/spark-3.5.1-bin-hadoop3.tgz

Pandas DataFrame to MySQL Database using iris Data

Fri, 05 Apr 2024 16:40:30 +0900

개요

이전 강의에 이어서 진행한다. (MySQL Select Clause via Python)
임의의 Pandas 데이터 프레임에서 MySQL DB로 추가하는 코드를 작성한다.

주요 라이브러리 설치

아래와 같이 주요 라이브러리를 설치한다.
- MySQL과 관련된 주요 Python 라이브러리를 설치한다.

pip install mysql-connector mysql-connector-python pymysql SQLAlchemy seaborn pandas

코드 작성(mysql-connector)

아래와 같이 코드를 작성한다.

# 파일명 : db.py
import mysql.connector
import pandas as pd
import seaborn as sns

mydb = mysql.connector.connect(
    host = "localhost", 
    user = "root", 
    passwd = "evan",
    database = "muldb"
)

print(mydb)

iris_df = sns.load_dataset('iris')

my_cursor = mydb.cursor()

create_table_query  = """
   CREATE TABLE IF NOT EXISTS iris (
    id INT AUTO_INCREMENT PRIMARY KEY,
    sepal_length FLOAT,
    sepal_width FLOAT,
    petal_length FLOAT,
    petal_width FLOAT,
    species VARCHAR(255)
    ); 
"""

my_cursor.execute(create_table_query)

insert_query = """
    INSERT INTO iris (sepal_length, sepal_width, petal_length, petal_width, species) 
    VALUES (%s, %s, %s, %s, %s)
"""

data = [tuple(x) for x in iris_df.to_numpy()]

for row in data:
    my_cursor.execute(insert_query, row)

# DB Commit
mydb.commit()

# 종료
my_cursor.close()
mydb.close()

이번에는 Python 파일을 실행한다.

$ python db.py 
<mysql.connector.connection_cext.CMySQLConnection object at 0x0000025FFC155BD0>

이번에는 MySQL Workbench에서 확인한다.

MySQL Select Clause via Python

Thu, 04 Apr 2024 20:10:30 +0900

개요

이전 강의에서 출발한다. MySQL Table Creation and Insert Data via Python

데이터 조회

다음 코드를 작성한다.

import mysql.connector

mydb = mysql.connector.connect(
    host = "localhost", 
    user = "root", 
    passwd = "evan", 
    database = "mulcampdb"
)

print(mydb)

my_cursor = mydb.cursor()

query = """
   SELECT * FROM users;
"""

my_cursor.execute(query)

result = my_cursor.fetchall()
for row in result:
    print(row)
    
print("완료")

파일을 실행한다.

$ python database.py 
<mysql.connector.connection_cext.CMySQLConnection object at 0x000001FE5A985F10>
('Evan', 'Evan@gmail.com', 30, 1)
('Evan', 'Evan@gmail.com', 30, 2)
('Mary', 'Mary@gmail.com', 20, 3)
('Sara', 'Sara@gmail.com', 25, 4)
완료

pandas 데이터프레임으로 변환

주어진 결괏값으로 pandas 데이터프레임으로 변환한다.
먼저 라이브러리를 설치한다.

$ pip install pandas

데이터 같이 코드를 작성한다.

import mysql.connector
import pandas as pd 

mydb = mysql.connector.connect(
    host = "localhost", 
    user = "root", 
    passwd = "evan", 
    database = "mulcampdb"
)

print(mydb)

my_cursor = mydb.cursor(dictionary=True)

query = """
   SELECT * FROM users;
"""

my_cursor.execute(query)

result = my_cursor.fetchall()
for row in result:
    print(row)

df = pd.DataFrame(result)
print(df)
print("완료")

파일을 실행한다.

$ python database.py 
<mysql.connector.connection_cext.CMySQLConnection object at 0x000002C4C47D5490>
{'name': 'Evan', 'email': 'Evan@gmail.com', 'age': 30, 'user_id': 1}
{'name': 'Evan', 'email': 'Evan@gmail.com', 'age': 30, 'user_id': 2}
{'name': 'Mary', 'email': 'Mary@gmail.com', 'age': 20, 'user_id': 3}
{'name': 'Sara', 'email': 'Sara@gmail.com', 'age': 25, 'user_id': 4}
   name           email  age  user_id
0  Evan  Evan@gmail.com   30        1
1  Evan  Evan@gmail.com   30        2
2  Mary  Mary@gmail.com   20        3
3  Sara  Sara@gmail.com   25        4
완료

코드 복기

커서를 생성하는 코드를 다시 확인해본다.
- 이 코드는 dictionary=True는 조회 결과를 Dictionary 형태로 받기 위한 설정이다.

my_cursor = mydb.cursor(dictionary=True)

이 코드로 인해, pandas DataFrame으로 변환하는 것이 매우 쉬워진다.

result = my_cursor.fetchall()
df = pd.DataFrame(result)
print(df)

MySQL Table Creation and Insert Data via Python

Thu, 04 Apr 2024 18:40:30 +0900

개요

이전 강의에서 출발한다. Connect To Database in Python

테이블 생성

아래 코드를 작성하면 테이블이 생성된다.

import mysql.connector

mydb = mysql.connector.connect(
    host = "localhost", 
    user = "root", 
    passwd = "evan", 
    database = "mulcampdb"
)

print(mydb)

my_cursor = mydb.cursor()
query = """
    CREATE TABLE users (
        name VARCHAR(255)
        , email VARCHAR(255)
        , age INTEGER(10)
        , user_id INTEGER AUTO_INCREMENT PRIMARY KEY
    );
"""
my_cursor.execute(query)
my_cursor.execute("SHOW TABLES;")
for table in my_cursor:
    print(table[0])

파일을 실행한다.

$ python database.py 
<mysql.connector.connection_cext.CMySQLConnection object at 0x0000028942314F90>
users

MySQL Workbench에 생성된 테이블이 만들어지는지 확인한다.

Connect To Database in Python

Thu, 04 Apr 2024 10:40:30 +0900

개요

Python과 MySQL을 연동하도록 한다.
프로젝트 폴더에 가상환경이 설치가 되어 있는 것으로 가정한다.
MySQL은 기 설치가 되어 있는 것으로 가정한다.

라이브러리 설치

Python과 MySQL을 연동해주는 라이브러리 종류는 다양하게 있다.

$ pip install mysql-connector mysql-connector-python

파일 작성

간단하게 파일을 작성한다.

import mysql.connector

mydb = mysql.connector.connect(
    host = "localhost", 
    user = "root", 
    passwd = "evan"
)

print(mydb)

파일을 실행한다.

$ python database.py 
<mysql.connector.connection_cext.CMySQLConnection object at 0x000002BF4E606090>
(venv)

Python 코드 활용하여 DB 생성

이번에는 코드를 활용하여 Schema를 생성한다.

import mysql.connector

mydb = mysql.connector.connect(
    host = "localhost", 
    user = "root", 
    passwd = "evan"
)

print(mydb)

my_cursor = mydb.cursor()
query = """
    CREATE DATABASE mulcampdb
"""

my_cursor.execute(query)

print("완료")

파일을 실행한다.

$ python database.py 
<mysql.connector.connection_cext.CMySQLConnection object at 0x0000020BB6504F50>
완료

MySQL Workbench에서 DB가 생성되었는지 확인한다.

MySQL 삭제, 재설치 가이드 on M1

Tue, 02 Apr 2024 10:40:30 +0900

개요

M1에서 MySQL을 설치 하고 Workbench에 접속하는 과정을 설명한다.
데이터 로드 시, ASCII 에러 과정 해결하는 방법도 살펴본다. (임시방편)

사전학습

brew 명령어를 알고 있는 분에 한해 작성을 하였다.

주의

아래 코드 복사할 시, $ 는 제외 후 복사한다.

MySQL 실행 확인 후 프로세스 Kill

먼저 MySQL이 실행중인지를 확인한다.

$ brew services list
Name  Status  User File
mysql started evan ~/Library/LaunchAgents/homebrew.mxcl.mysql.plist

서비스를 강제 종료한다.

$ brew services stop mysql
Stopping `mysql`... (might take a while)
==> Successfully stopped `mysql` (label: homebrew.mxcl.mysql)

MySQLWorkbench 삭제

Applications 폴더에서 해당 MySQLWorkbench 파일을 찾아 삭제한다.

Github Actions Hello World From Python Script

Wed, 13 Mar 2024 03:40:47 +0900

개요

Python Script를 활용하여 Hell World를 출력한다.

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
- 인프런 : https://inf.run/YPniH

이전 게시글

링크 확인 : Github Actions Hello World

main.py 작성

간단하게 아래 코드를 작성한다.
코드 작성은 Github에서도 가능하다.

import sys

print(sys.version)
print("Hello, World")

Add file > Create new file 버튼을 클릭한다.

Github Actions Hello World

Wed, 13 Mar 2024 01:40:47 +0900

개요

Github Actions 에서 Hello World를 출력하도록 한다.

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
- 인프런 : https://inf.run/YPniH

사전준비

Github에 적당한 Repo를 준비한다.

메뉴선택

아래 그림에서 Actions 메뉴를 선택한다.

아래 그림에서 set up a workflow yourself 선택

YAML 파일 수정

.github/workflows/main.yaml 파일 선택 후 수정

Streamlit ML Multiclass Classification Model Prediction Sample (feat. Pipeline)

Wed, 06 Mar 2024 01:40:47 +0900

개요

Kaggle 데이터셋을 활용하여 Streamlit ML Multiclass Classification Model을 배포한다.
각 코드에 대한 자세한 설명은 여기에서는 생략한다.

데이터 수집

이번에 활용하는 캐글 데이터 수집은 아래 대회에서 train 데이터만 가져왔다.
- Multi-Class Prediction of Obesity Risk : https://www.kaggle.com/competitions/playground-series-s4e2

Dataset Description은 아래에서 확인하도록 한다.
- 링크 : https://www.kaggle.com/competitions/playground-series-s4e2/data
- train.csv 파일만 다운로드 받았다.

모델 개발

다음 코드는 모델을 개발하는 코드이다.
주어진 데이터셋에서 종속변수 NObeyesdad을 예측하는 모델을 구성했다.
- 파일명 : model.py

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.ensemble import RandomForestClassifier
from sklearn.pipeline import Pipeline
from sklearn.metrics import classification_report
from joblib import dump, load
import os

DATA_PATH = './data/train.csv'
data = pd.read_csv(DATA_PATH)

# Separate features and target variable
X = data.drop(['id', 'NObeyesdad'], axis=1)
y = data['NObeyesdad']

# Split the dataset into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Identify numerical and categorical columns
num_columns = X.select_dtypes(include=['float64']).columns
cat_columns = X.select_dtypes(include=['object']).columns

# Create the preprocessing pipeline
preprocessor = ColumnTransformer(
    transformers=[
        ('num', StandardScaler(), num_columns),
        ('cat', OneHotEncoder(handle_unknown='ignore'), cat_columns)
    ]
)

# Create the full pipeline
pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('classifier', RandomForestClassifier())
])

# Train the model
pipeline.fit(X_train, y_train)

# 모델 저장
model_directory = 'model'

if not os.path.exists(model_directory):
    os.makedirs(model_directory)

model_path = os.path.join(model_directory, 'NObeyesdad_prediction_pipeline.joblib')
dump(pipeline, model_path)

위 코드에서 핵심은 모델을 저장하는 것이며, 또한 OneHotEncoder(handle_unknown='ignore') 을 지정하는 것이다.
해당하는 폴더에 model 폴더가 없으면 model 폴더를 생성하고 NObeyesdad_prediction_pipeline.joblib 이름으로 모델을 저장한다.

파일 실행

model.py 를 실행하여 모델을 생성한다.

python model.py

Streamlit App 개발

다음 코드는 Streamlit App 개발을 하는 코드이다.
- 파일명 : app.py

import streamlit as st
import pandas as pd
from joblib import load
import os

# Assuming your model is saved in the 'model' directory with the name 'obesity_prediction_pipeline.joblib'
model_directory = 'model'
model_path = os.path.join(model_directory, 'NObeyesdad_prediction_pipeline.joblib')

def predict_NObeyesdad_level(model_path, Gender, Age, Height, Weight, family_history_with_overweight, FAVC, FCVC, NCP, CAEC, SMOKE, CH2O, SCC, FAF, TUE, CALC, MTRANS):
    
    # 모델 불러오기
    pipeline = load(model_path)
    
    # 데이터프레임 생성
    df = pd.DataFrame([{
        'Gender': Gender, 'Age': Age, 'Height': Height, 'Weight': Weight,
        'family_history_with_overweight': family_history_with_overweight, 'FAVC': FAVC,
        'FCVC': FCVC, 'NCP': NCP, 'CAEC': CAEC, 'SMOKE': SMOKE, 'CH2O': CH2O,
        'SCC': SCC, 'FAF': FAF, 'TUE': TUE, 'CALC': CALC, 'MTRANS': MTRANS
    }])
    
    # 예측 값 생성
    prediction = pipeline.predict(df)
    return prediction[0]

def main():
    st.title('Obesity Level Prediction Model')
    st.write('Predict obesity levels based on personal and health-related attributes.')

    # Create input fields for each feature
    Gender = st.selectbox('Gender', ['Male', 'Female'])
    Age = st.number_input('Age', min_value=0.0, format='%f')
    Height = st.number_input('Height (in meters)', min_value=0.0, format='%f')
    Weight = st.number_input('Weight (in kg)', min_value=0.0, format='%f')
    family_history_with_overweight = st.selectbox('Family history with overweight', ['yes', 'no'])
    FAVC = st.selectbox('Frequent consumption of high caloric food', ['yes', 'no'])
    FCVC = st.number_input('Frequency of consumption of vegetables', min_value=0.0, max_value=3.0, step=0.1)
    NCP = st.number_input('Number of main meals', min_value=1.0, max_value=4.0, step=0.1)
    CAEC = st.selectbox('Consumption of food between meals', ['No', 'Sometimes', 'Frequently', 'Always'])
    SMOKE = st.selectbox('Do you smoke?', ['yes', 'no'])
    CH2O = st.number_input('Consumption of water daily (liters)', min_value=0.0, format='%f')
    SCC = st.selectbox('Calories consumption monitoring', ['yes', 'no'])
    FAF = st.number_input('Physical activity frequency (per week)', min_value=0.0, format='%f')
    TUE = st.number_input('Time using technology devices (hours)', min_value=0.0, format='%f')
    CALC = st.selectbox('Consumption of alcohol', ['Never', 'Sometimes', 'Frequently', 'Always'])
    MTRANS = st.selectbox('Mode of transportation', ['Automobile', 'Bike', 'Motorbike', 'Public_Transportation', 'Walking'])

    if st.button('Predict Obesity Level'):
        result = predict_NObeyesdad_level(model_path, Gender, Age, Height, Weight, family_history_with_overweight, FAVC, FCVC, NCP, CAEC, SMOKE, CH2O, SCC, FAF, TUE, CALC, MTRANS)
        st.success(f'Predicted Obesity Level: {result}')

if __name__ == "__main__":
    main()

위 코드에서 핵심은 predict_tip 함수이다. pipeline으로 모델을 설계하면 곧바로 predict() 저장된 모델을 불러온 후, 함수 사용이 가능하다.

테스트

테스트 결과는 아래와 같이 나온다.

streamlit run app.py

Streamlit ML Model Prediction Sample (feat. Pipeline)

Tue, 05 Mar 2024 01:40:47 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

개요

tips 데이터셋을 활용하여 Streamlit ML Model을 배포한다.
각 코드에 대한 자세한 설명은 여기에서는 생략한다.

모델 개발

다음 코드는 모델을 개발하는 코드이다.
주어진 데이터셋에서 tip을 예측하는 모델을 구성했다.
- 파일명 : model.py

import streamlit as st
import pandas as pd
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder
from joblib import dump, load
import os

# 데이터셋 불러오기
tips = sns.load_dataset('tips')

# 데이터셋 컬럼 추출
categorical_features = ['sex', 'smoker', 'day', 'time']
numerical_features = ['total_bill', 'size']

# pipeline 모델 만들기
preprocessor = ColumnTransformer(
    transformers=[
        ('num', 'passthrough', numerical_features),
        ('cat', OneHotEncoder(), categorical_features)
    ])

pipeline = Pipeline(steps=[('preprocessor', preprocessor),
                           ('model', LinearRegression())])

# 데이터셋 분류 / 종속 변수 tip을 예측하는 모델
X = tips.drop('tip', axis=1)
y = tips['tip']

# 데이터셋 분류
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 모델 학습
pipeline.fit(X_train, y_train)

# 모델 저장
model_directory = 'model'

if not os.path.exists(model_directory):
    os.makedirs(model_directory)

model_path = os.path.join(model_directory, 'tip_prediction_pipeline.joblib')
dump(pipeline, model_path)

위 코드에서 핵심은 모델을 저장하는 것이다. 마지막 코드이다.
해당하는 폴더에 model 폴더가 없으면 model 폴더를 생성하고 tip_prediction_pipeline.joblib 이름으로 모델을 저장한다.
model.py를 실행한다.

python model.py

정상적으로 모델이 만들어졌으면, model 폴더가 생겼을 것이고, 그 다음에 해당 모델이 저장되어 있을 것이다.

Streamlit App 개발

다음 코드는 Streamlit App 개발을 하는 코드이다.
- 파일명 : app.py

import streamlit as st
import pandas as pd
from joblib import load
import os

model_directory = 'model'
model_path = os.path.join(model_directory, 'tip_prediction_pipeline.joblib')

def predict_tip(model_path, total_bill, size, sex, smoker, day, time):
    
    # 모델 불러오기
    pipeline = load(model_path)
    
    # 예측 데이터 생성
    df = pd.DataFrame([{'total_bill': total_bill, 'size': size, 'sex': sex, 'smoker': smoker, 'day': day, 'time': time}])
    
    # 예측값 생성
    prediction = pipeline.predict(df)
    return prediction[0]

def main():

    st.title('팁 예측 모델')
    st.write('total_bill과 다른 요인을 고려하여 tip 예측 모델 생성')

    total_bill = st.number_input('Total Bill ($)', min_value=0.0, format='%f')
    size = st.number_input('Size of the Party', min_value=1, step=1)
    sex = st.selectbox('Sex', ['Male', 'Female'])
    smoker = st.selectbox('Smoker', ['Yes', 'No'])
    day = st.selectbox('Day', ['Thur', 'Fri', 'Sat', 'Sun'])
    time = st.selectbox('Time', ['Lunch', 'Dinner'])

    if st.button('예상 Tip 예측'):
        result = predict_tip(model_path, total_bill, size, sex, smoker, day, time)
        st.success(f'예측 Tip: ${result:.2f}')

if __name__ == "__main__":
    main()

위 코드에서 핵심은 predict_tip 함수이다. pipeline으로 모델을 설계하면 곧바로 predict() 저장된 모델을 불러온 후, 함수 사용이 가능하다.

테스트

테스트 결과는 아래와 같이 나온다.

streamlit run app.py

openAI API, Text & Image 생성 예제

Fri, 01 Mar 2024 01:40:47 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

소스 참조

후루카와 히데카즈 저/트랜스메이트 역. (2023). GPT-4, ChatGPT, 라마인덱스, 랭체인을 활용한 인공지능 프로그래밍 한권으로 끝내는 OpenAI API 기반 LLM 애플리케이션 구축. 위키북스, 판매처 : https://www.yes24.com/Product/Goods/122533123

라이브러리 설치

openai 패키지를 설치한다.

!pip install openai

Collecting openai
  Obtaining dependency information for openai from https://files.pythonhosted.org/packages/26/a1/75474477af2a1dae3a25f80b72bbaf20e8296191ece7fff2f67984206f33/openai-1.12.0-py3-none-any.whl.metadata
  Downloading openai-1.12.0-py3-none-any.whl.metadata (18 kB)
.
.
.
[notice] A new release of pip is available: 23.2.1 -> 24.0
[notice] To update, run: python.exe -m pip install --upgrade pip

환경변수 준비

python-dotenv를 설치 한다.

!pip install python-dotenv

Collecting python-dotenv
  Obtaining dependency information for python-dotenv from https://files.pythonhosted.org/packages/6a/3e/b68c118422ec867fa7ab88444e1274aa40681c606d59ac27de5a5588f082/python_dotenv-1.0.1-py3-none-any.whl.metadata
  Downloading python_dotenv-1.0.1-py3-none-any.whl.metadata (23 kB)
Downloading python_dotenv-1.0.1-py3-none-any.whl (19 kB)
Installing collected packages: python-dotenv
Successfully installed python-dotenv-1.0.1

[notice] A new release of pip is available: 23.2.1 -> 24.0
[notice] To update, run: python.exe -m pip install --upgrade pip

.env 파일 저장

.env 파일 생성 후, OpenAI Key값을 아래와 같이 저장한다.

OPENAI_API_KEY = 'your_id'

저장한 값 불러오기

OPENAI_API_KEY를 불러오고 싶다면 다음 코드를 사용한다.

import dotenv
import os
env_file = dotenv.find_dotenv()
dotenv.load_dotenv(env_file)
print(os.environ['OPENAI_API_KEY'])

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

프롬프트 준비

여러줄에 걸친 문자열 정의

prompt = '''다음 이야기를 써주세요기타를 좋아하지만 컴맹인 여고생이 어떤 계기로 록밴드에 가입하고, 낯선 인간관계를 통해 활동하게 되는 이야기'''

각 매개변수에 대한 설명은 https://platform.openai.com/docs/api-reference/chat/create 링크 참조

import os
from openai import OpenAI
client = OpenAI(
    # This is the default and can be omitted    api_key=os.environ.get("OPENAI_API_KEY"),
)
response = client.chat.completions.create(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "system", "content": "이 채팅은 좋습니다. 남동생과 대하를 하겠습니다. "},
    {"role": "user", "content": "안녕"},
    {"role": "assistant", "content": "남동생은 현재 컴퓨터를 하고 있습니다."},
    {"role": "user", "content": "너 지금 뭐하고 있어?"}
  ],
   temperature=0)
response.choices[0].message.content

'남동생은 지금 사용자와 대화하고 있습니다. 대하를 하고 있습니다.'

이미지 생성

텍스트에서 이미지 생성을 하는 예제는 다음과 같다.
image generation 생성 및 매개변수에 대한 공식 문서는 다음과 같다.
- 참고 : https://platform.openai.com/docs/guides/images/introduction?context=node

from openai import OpenAI
client = OpenAI(
    # This is the default and can be omitted    api_key=os.environ.get("OPENAI_API_KEY"),
)
response = client.images.generate(
  model="dall-e-3",
  prompt="cat dancing on car",
  size="1024x1024",
  quality="standard",
  n=1,
)
image_url = response.data[0].url
image_url

'https://oaidalleapiprodscus.blob.core.windows.net/private/org-znknr4OkH2n7N79B7CFhmUj9/user-fyfrdMeg75Lew6QIXrb6JCzr/img-QI9YCiwm7w4N99SeSaFuverT.png?st=2024-02-27T05%3A20%3A01Z&se=2024-02-27T07%3A20%3A01Z&sp=r&sv=2021-08-06&sr=b&rscd=inline&rsct=image/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-02-26T20%3A01%3A40Z&ske=2024-02-27T20%3A01%3A40Z&sks=b&skv=2021-08-06&sig=O9MYsIZUoSy2jjDjTVLeHbhPGyWtnHP%2BfFEJUgVNSvU%3D'

st-pages 라이브러리 소개

Wed, 28 Feb 2024 01:40:47 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

개요

Streamlit 생태계에 기반한 Components를 살펴본다.
st-pages 라이브러리를 확인한다.

Components

Components는 Streamlit Community와 Creators가 직접 개발한 Streamlit 관련 라이브러리를 말한다.
- 참고 : https://streamlit.io/components
여기에는 다양한 라이브러리들이 존재한다.

활용법 주의

이러한 라이브러리들을 활용할 때는 Github의 최근 개발 이력을 살펴볼 필요가 있다.
- 예: spacy-streamlit, https://github.com/explosion/spacy-streamlit

OpenAI API 인증키 발급

Tue, 27 Feb 2024 01:40:47 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

개요

OpenAI API 인증키 발급
OpenAI 회원가입을 이미 한 것으로 전제

인증키 발급

다음 사이트에서 로그인을 한다. https://openai.com/blog/openai-api

API를 선택한다.

왼쪽 메뉴에서 API Keys를 선택한다.

API Key 획득을 위해 Create New Secret Key 버튼을 클릭한다.

creating multipages in streamlit web using official docs

Sun, 25 Feb 2024 01:40:47 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

개요

streamli을 활용한 멀티페이지 개념 및 구현에 대한 내용을 다룬다.
공식문서 참고 :
- Create a multipage app : https://docs.streamlit.io/get-started/tutorials/create-a-multipage-app
- Multipage apps : https://docs.streamlit.io/library/advanced-features/multipage-apps

Streamlit에서 multipage란 무엇인가?

앱의 크기가 커질수록 다중 페이지 구성은 관리와 탐색의 용이성을 제공함.
Streamlit은 이를 쉽게 가능하게 하며, 클릭 한 번으로 해당 페이지에 빠르게 이동할 수 있다.

폴더 및 파일 구조

Home.py 파일을 만든 후에는 엔트리포인트 파일과 관련된 pages/about.py 파일을 만들어 페이지를 추가할 수 있다. 다음은 다중 페이지 앱에 유효한 디렉토리 구조는 아래와 같다.

취업준비생을 위한 Github 포트폴리오 정리

Mon, 05 Feb 2024 00:01:28 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

개요

Github에서 포트폴리오 정리하는 방법에 대해 기술합니다.
취업준비생들의 취업을 진심으로 응원합니다.

취업준비생들에게 개발이란

Github에 배포를 하겠다는 뜻은 앞으로 계속적으로 발전 시키겠다는 것을 의미합니다.
그런데, 개발은 혼자 할 수 없기 때문에 다른 사람들의 참여를 독려하겠다는 것과 같습니다.
가장 좋은 시나리오는 간단하게 배포를 진행하고 프로젝트의 전반적인 취지를 설명한 후 함께 발전시켜 나갈 동료를 구하는 것입니다.

출간 기념, Streamlit으로 프로젝트 한방에 끝내기 with 파이썬 개정판 (2024, Sara & Evan)

Sun, 04 Feb 2024 00:01:28 +0900

개정판 책을 출간하였습니다.

Streamlit이란

Streamlit은 데이터 분석가가 간단한 코드 몇줄로 빠르게 웹앱을 만들어 줄 수 있는 Python 라이브러리입니다.
- 웹사이트 : https://streamlit.io/

누가 읽어야 할까요?

데이터 분석가 : 웹개발은 모르지만 대시보드를 만들어야 하는 분
국비교육 수강중인 비전공자 : Java 웹개발로 머신러닝 플랫폼을 만들어야 하는 분
개별적인 포트폴리오가 필요한 취업준비생 : ML/DL 알고리즘 익히는 것도 어려운데, 웹개발은 언제 배우죠?

데모 페이지

기초문법 포함 2달이면 충분히 아래 데모 페이지와 같이 만들 수 있습니다.
- 데모 페이지 : https://dschloe-streamlit-book-seoul-app-w9me9j.streamlit.app/

django tutorial - pyburger 3

Wed, 24 Jan 2024 04:40:47 +0900

공지

멀티캠퍼스 수업 보조자료로 활용하기 위해 아래 교재 내용을 발췌하였음을 알립니다.

판매처 : https://product.kyobobook.co.kr/detail/S000201056504

Github에서 프로젝트 내려받기

다음 경로에서 프로젝트를 내려 받는다.
- 사이트 : https://github.com/dschloe/pyburger
Download Zip을 선택하여 프로젝트를 내려 받는다.

다음 명령어를 실행하여 Local의 적당한 곳에서 다운로드 받는다.

폴더 수정

.DS_Store 파일은 삭제한다
폴더명은 pyburger로 변경한다.

VS Code로 폴더 열기

아래와 같이 VS Code로 pyburger 폴더를 연다.

프로젝트 설정

가상환경을 설정하고 django를 설치한다.

$ virtualenv venv
$ source venv/Scripts/activate
(venv) $ pip install 'django<5'

첫번째 확인사항

runserver를 실행하여 정상적으로 작동하는지 확인한다.

(venv) $ python manage.py runserver

django tutorial - pyburger 2

Wed, 24 Jan 2024 03:40:47 +0900

공지

멀티캠퍼스 수업 보조자료로 활용하기 위해 아래 교재 내용을 발췌하였음을 알립니다.

판매처 : https://product.kyobobook.co.kr/detail/S000201056504

별도의 app 추가

application을 생성하는 명령어를 활용하여 app을 생성한다.

python manage.py startapp burgers

트리 구조는 다음과 같다.

$ tree -L 2
.
|-- burgers
|   |-- __init__.py
|   |-- admin.py
|   |-- apps.py
|   |-- migrations
|   |-- models.py
|   |-- tests.py
|   `-- views.py
|-- config
|   |-- __init__.py
|   |-- __pycache__
|   |-- asgi.py
|   |-- settings.py
|   |-- urls.py
|   |-- views.py
|   `-- wsgi.py
|-- db.sqlite3
|-- manage.py
|-- templates
|   |-- burger_list.html
|   `-- main.html
`-- templates.zip

새 Application을 Django 등록

confing/settings.py 에서 INSTALLED_APPS 리스트에 아래와 같이 추가

INSTALLED_APPS = [
    "burgers", 
    "django.contrib.admin",
    "django.contrib.auth",
    "django.contrib.contenttypes",
    "django.contrib.sessions",
    "django.contrib.messages",
    "django.contrib.staticfiles",
]

Model 클래스 구현

Model 클래스 정의하기 전에 햄버거를 나타낼 수 있는 정보를 몇 가지 정리한다.
- 이름
- 가격
- 칼로리
burgers/models.py 에서 아래와 같이 코드를 생성한다.

from django.db import models

# Create your models here.
class Burger(models.Model):
    name  = models.CharField(max_length=20)
    price = models.IntegerField(default=0)
    calories = models.IntegerField(default=0)

데이터베이스 마이그레이션

새로운 테이블을 만들기 위해 다음 명령어를 사용한다.

python manage.py migrate

django tutorial - pyburger 1

Wed, 24 Jan 2024 02:40:47 +0900

Django Pyburger - 1, 맛보기

공지

멀티캠퍼스 수업 보조자료로 활용하기 위해 아래 교재 내용을 발췌하였음을 알립니다.

판매처 : https://product.kyobobook.co.kr/detail/S000201056504

Django 설치

터미널에서 django를 설치한다.

pip install 'django<5'

Django 버전 확인

터미널에서 Django의 버전을 확인한다.

django-admin --version
4.2.9

Django 프로젝트 생성

다음 명령어를 실행하여 django 프로젝트를 생성한다.
djang-admin은 터미널에서 실행할 수 있는 프로그램이며, django 프로젝트를 관리하는 여러 기능들을 가지고 있음
startproject는 django 프로젝트의 기반 구조를 만드는 기능

django-admin startproject config .

생성된 파일 목록을 확인한다.
- Git Bash에서 트리 구조 확인 : https://frozenrainyoo.tistory.com/3

$ tree -L 2
.
|-- README.md
|-- config
|   |-- __init__.py
|   |-- asgi.py
|   |-- settings.py
|   |-- urls.py
|   `-- wsgi.py
|-- manage.py
`-- venv
    |-- Lib
    |-- Scripts
    `-- pyvenv.cfg

4 directories, 8 files

개발용 서버 동작 확인

명령어는 다음과 같다.
- 이 때 manage.py 가 있는 프로젝트 경로에서 실행해야 한다.

python manage.py runserver

SQLitebroswer 설치 (M1, Mac)

Wed, 24 Jan 2024 01:00:47 +0900

SQLitebroswer 설치 (M1, Mac)

개요

SQLitebroswer 설치를 진행해본다.

설치

주소 : https://sqlitebrowser.org/
Download 버튼을 클릭한다.

자신의 OS에 맞는 버전을 선택해 다운로드 후 설치
필자는 Apple Silicon 버전을 선택했다.

아래 그림과 같이 추가하면 된다.

SQLitebroswer 설치 (Windows 11)

Wed, 24 Jan 2024 00:00:47 +0900

개요

SQLitebroswer 설치를 진행해본다.

설치

주소 : https://sqlitebrowser.org/
Download 버튼을 클릭한다.

자신의 OS에 맞는 버전을 선택해 다운로드 후 설치
필자는 Standard installer for 64-bit Windows 다운로드 받았다.

설치 프로그램을 실행한 후, 아래와 같이 순차적으로 실행한다.

끝.

kaggle 한글폰트 적용

Mon, 15 Jan 2024 01:40:47 +0900

개요

캐글에서 한글폰트를 적용하는 방법에 대해 알아본다.
가장 간편한 방법은 폰트를 업로드 한 뒤 업데이트 하는 방식이다.

폰트 확인

폰트는 아래 사이트에서 다운로드 받는다.
사이트 : https://hangeul.naver.com/font
여기에서 나눔글꼴을 다운로드 받았다.

폰트 압축풀기

다운로드 폰트를 압축 풀기 하면 매우 다양한 폰트가 확인이 된다.
여기에서 나눔스퀘어 > NanumFontSetup_TTF_SQUARE 파일에서 폰트 목록을 확인한다.

폰트 업로드

이제 현재 사용하는 캐글 노트북에 추가한다.
임의의 font 폴더명을 입력했다.

Create 버튼을 클릭한다.

업로드 이후에 폴더에 폰트가 들어간 것을 확인한다.

statsmodels를 활용한 회귀분석 (feat. 범주형 데이터)

Fri, 12 Jan 2024 01:40:47 +0900

개요

statsmodels를 활용하여 범주형 데이터가 포함된 회귀식을 산정해본다.
범주형 데이터의 특정 값을 변동하는 방법을 배운다.
더불어서 R로 간단한 회귀식도 만들어보자!

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

라이브러리 확인

statsmodels의 라이브러리는 현재 0.14.1 버전이다.
- 라이브러리 참조 : https://www.statsmodels.org/stable/index.html

import statsmodels
import seaborn as sns 
import pandas as pd

print(statsmodels.__version__) 
print(sns.__version__) 
print(pd.__version__)

0.14.1
0.12.2
1.5.3

데이터 불러오기

seaborn에서 tips 데이터를 불러온다.

tips = sns.load_dataset('tips')
tips.head()

conda vs virtualenv 라이브러리 관리 비교

Thu, 04 Jan 2024 01:40:47 +0900

개요

파이썬에는 가상환경이 다양하게 존재한다.
이 중, conda와 virtualenv 가상환경에서 라이브러리 관리를 어떻게 하는지 비교를 해보도록 한다.

프로젝트 폴더 생성

폴더명은 virtualTest로 명명했다.

Conda

먼저 가상환경을 만들어본다.

conda create -n virtualTest python=3.10

conda 가상환경에 접속하는 방법은 다음과 같다.

conda activate virtualTest

environment.yml

라이브러리 관리를 위해 아래와 같이 샘플 코드를 생성한다.

name: virtualTest
channels:
  - defaults
dependencies:
  - python=3.10
  - numpy
  - pandas
  - pip:
    - streamlit

실행 코드는 아래와 같다.

conda env create -f environment.yml

라이브러리 추가 설치를 한다.

conda install matplotlib

추가된 라이브러리를 추출한다.

conda env export > env_file.yml

파일을 확인하면 아래와 같이 복잡하게 나타난다.

Matplotlib & Seaborn with bar chart

Sun, 03 Dec 2023 01:40:47 +0900

개요

본 코드는 다음 유투브 영상에서 다룬 내용 중 다루지 못한 내용을 추가한 블로그입니다.

Youtube

유투브 영상은 다음과 같습니다. 전체 강의자료 및 데이터셋은 udemy 또는 inflern에서 확인 가능합니다.

가상의 데이터셋 생성

먼저 라이브러리를 불러온 후, 가상의 데이터셋을 만듭니다.

import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

years = [2007, 2008]
months = ['1', '2', '3', '4', '5', '6', '7', '8', '9', '10', '11', '12']

np.random.seed(0)  # For reproducibility
data = {
    'year': np.repeat(years, 12),
    'month': months * 2,
    'house_prices': np.random.randint(100, 500, 24)
}

df_random = pd.DataFrame(data)

데이터셋은 크게 year, month, house_prices로 구성되어 있습니다.

df_random.head()

Exploring Unique Values in DataFrame Object Columns

Sun, 26 Nov 2023 01:40:47 +0900

개요

pandas 데이터프레임의 여러 개체 유형(문자열) 열에서 고유 값을 조사하려면 해당 열을 선택한 다음 unique()를 적용하여 고유 값을 추출한다. 이를 위한 단계별 접근 방식은 다음과 같다.
- 1단계 : 여러 컬럼 중에서 문자열 컬럼만 추출한다.
- 2단계 : unique() 함수를 활용하여 unique()값만 가져온다.
- 3단계 : 결괏값은 dictionary 형태로 담는다.

가상 데이터 생성

임의의 가상 데이터를 생성한다.

import pandas as pd

data = {
    'Name': ['Evan', 'Bob', 'Evan', 'Bob'],
    'City': ['New York', 'Los Angeles', 'New York', 'SF'],
    'Job': ['Engineer', 'Engineer', 'Engineer', 'Artist'],
    'num1' : [1, 2, 3, 4]
}
df = pd.DataFrame(data)
print(df)

   Name         City       Job  num1
0  Evan     New York  Engineer     1
1   Bob  Los Angeles  Engineer     2
2  Evan     New York  Engineer     3
3   Bob           SF    Artist     4

object 컬럼 추출

# object 컬럼명 도출
object_cols = df.select_dtypes(include=['object'])
print(object_cols)

   Name         City       Job
0  Evan     New York  Engineer
1   Bob  Los Angeles  Engineer
2  Evan     New York  Engineer
3   Bob           SF    Artist

dictionary comprehension 활용한 고윳값 추출

dictionary comprehension을 사용한다.
- object_cols.columns는 고유값을 찾고자 하는 열들의 이름을 포함하는 리스트이다.
- for col in object_cols.columns: 이 반복문은 object_cols.columns에 있는 각 열 이름에 대해 반복한다.
- df[col].unique(): 이 부분은 DataFrame df에서 col 열의 고유값들을 추출합니다. unique() 함수는 해당 열에서 중복을 제거한 값들의 배열을 반환한다.
- {col: df[col].unique() for …}: 이 구조는 각 열 이름(col)을 키로, 해당 열의 고유값 배열을 값으로 하는 딕셔너리를 생성한다.

# 각 컬럼별 고유값만 추출한다.
unique_values = {col: df[col].unique() for col in object_cols.columns}
unique_values

{'Name': array(['Evan', 'Bob'], dtype=object),
 'City': array(['New York', 'Los Angeles', 'SF'], dtype=object),
 'Job': array(['Engineer', 'Artist'], dtype=object)}

빅데이터 분석기사 실기 준비 (작업 제2유형) 준비

Sun, 26 Nov 2023 00:40:47 +0900

개요

작업 2유형(머신러닝)을 보다 쉽게 대비할 수 있도록 튜토리얼을 준비했습니다.
핵심 키워드 : Python 머신러닝은 pipeline 코드로 기억하자
본 코드는 구글 코랩에서 작성하였습니다.

유투브

유투브에서 강의 영상을 시청할 수 있습니다. (구독과 좋아요)

데이터 출처

본 데이터는 K-Data에서 가져왔습니다.

구글 드라이브 연동

데이터를 가져오기 위해 구글 드라이브와 연동합니다.

from google.colab import drive
drive.mount("/content/drive")

Mounted at /content/drive

라이브러리 불러오기

아래 라이브러리들을 모두 암기하시기를 바랍니다.

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
## from sklearn.metrics import make_scorer, mean_squared_error
## from sklearn.ensemble import RandomForestRegressor

from sklearn.metrics import roc_auc_score
from sklearn.ensemble import RandomForestClassifier

데이터 가져오기

구글 드라이브에서 데이터를 가져옵니다.
시험장에서는 데이터 가져오기는 자동으로 설정이 되어 있습니다.

DATA_PATH = '/content/drive/MyDrive/Colab Notebooks/2024/빅분기/[Dataset] 작업형 제2유형/'

X_test = pd.read_csv(DATA_PATH + "X_test.csv", encoding='cp949')
X_train = pd.read_csv(DATA_PATH + "X_train.csv", encoding='cp949')
y_train = pd.read_csv(DATA_PATH + "y_train.csv", encoding='cp949')

print(X_test.shape, X_train.shape, y_train.shape)

(2482, 10) (3500, 10) (3500, 2)

데이터 정보 확인하기

분류 문제임을 확인할 수 있다.

print(y_train.head(3))

   cust_id  gender
0        0       0
1        1       0
2        2       1

문자열과 숫자 데이터가 적절하게 섞인 것을 확인할 수 있다.

print(X_train.head(3))

   cust_id      총구매액     최대구매액       환불금액   주구매상품 주구매지점  내점일수   내점당구매건수  \
0        0  68282840  11264000  6860000.0      기타   강남점    19  3.894737   
1        1   2136000   2136000   300000.0     스포츠   잠실점     2  1.500000   
2        2   3197000   1639000        NaN  남성 캐주얼   관악점     2  2.000000   

     주말방문비율  구매주기  
0  0.527027    17  
1  0.000000     1  
2  0.000000     1

print(X_train.info())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3500 entries, 0 to 3499
Data columns (total 10 columns):
 #   Column   Non-Null Count  Dtype  
---  ------   --------------  -----  
 0   cust_id  3500 non-null   int64  
 1   총구매액     3500 non-null   int64  
 2   최대구매액    3500 non-null   int64  
 3   환불금액     1205 non-null   float64
 4   주구매상품    3500 non-null   object 
 5   주구매지점    3500 non-null   object 
 6   내점일수     3500 non-null   int64  
 7   내점당구매건수  3500 non-null   float64
 8   주말방문비율   3500 non-null   float64
 9   구매주기     3500 non-null   int64  
dtypes: float64(3), int64(5), object(2)
memory usage: 273.6+ KB
None

print(y_train.info())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3500 entries, 0 to 3499
Data columns (total 2 columns):
 #   Column   Non-Null Count  Dtype
---  ------   --------------  -----
 0   cust_id  3500 non-null   int64
 1   gender   3500 non-null   int64
dtypes: int64(2)
memory usage: 54.8 KB
None

데이터 전처리

2회-6회 시험까지 결측치는 존재하지 않았지만, 언제든지 결측치 처리 문제는 나올 수 있음.
결측치를 처리할 때는 fillna() 메서드를 사용한다.
- 숫자는 각 컬럼의 평균대치, 문자는 최빈도값 대치를 한다.

X_train.isnull().sum()

cust_id       0
총구매액          0
최대구매액         0
환불금액       2295
주구매상품         0
주구매지점         0
내점일수          0
내점당구매건수       0
주말방문비율        0
구매주기          0
dtype: int64

여기에서는 특정 컬럼의 결측치가 많아서 삭제 한다.

X_train = X_train.drop("환불금액", axis=1)
X_train.isnull().sum()

cust_id    0
총구매액       0
최대구매액      0
주구매상품      0
주구매지점      0
내점일수       0
내점당구매건수    0
주말방문비율     0
구매주기       0
dtype: int64

X_train['주구매상품'].value_counts()

기타        595
가공식품      546
농산물       339
화장품       264
시티웨어      213
디자이너      193
수산품       153
캐주얼       101
명품        100
섬유잡화       98
골프         82
스포츠        69
일용잡화       64
모피/피혁      57
육류         57
남성 캐주얼     55
구두         54
건강식품       47
차/커피       44
피혁잡화       40
아동         40
축산가공       35
주방용품       32
셔츠         30
젓갈/반찬      29
주방가전       26
트래디셔널      23
남성정장       22
생활잡화       15
주류         14
가구         10
커리어         9
대형가전        8
란제리/내의      8
식기          7
액세서리        5
침구/수예       4
통신/컴퓨터      3
보석          3
남성 트랜디      2
소형가전        2
악기          2
Name: 주구매상품, dtype: int64

X_train['주구매지점'].value_counts()

본  점     1077
잠실점       474
분당점       436
부산본점      245
영등포점      241
일산점       198
강남점       145
광주점       114
노원점        90
청량리점       86
대전점        70
미아점        69
부평점        57
동래점        49
관악점        46
인천점        34
안양점        29
포항점        11
대구점         7
센텀시티점       6
울산점         6
전주점         5
창원점         4
상인점         1
Name: 주구매지점, dtype: int64

컬럼 분리

cust_id는 별도로 분리한다.

X_train_id = X_train.pop("cust_id")
print(X_train.info())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3500 entries, 0 to 3499
Data columns (total 8 columns):
 #   Column   Non-Null Count  Dtype  
---  ------   --------------  -----  
 0   총구매액     3500 non-null   int64  
 1   최대구매액    3500 non-null   int64  
 2   주구매상품    3500 non-null   object 
 3   주구매지점    3500 non-null   object 
 4   내점일수     3500 non-null   int64  
 5   내점당구매건수  3500 non-null   float64
 6   주말방문비율   3500 non-null   float64
 7   구매주기     3500 non-null   int64  
dtypes: float64(2), int64(4), object(2)
memory usage: 218.9+ KB
None

X_test_id = X_test.pop("cust_id")
print(X_test.info())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 2482 entries, 0 to 2481
Data columns (total 9 columns):
 #   Column   Non-Null Count  Dtype  
---  ------   --------------  -----  
 0   총구매액     2482 non-null   int64  
 1   최대구매액    2482 non-null   int64  
 2   환불금액     871 non-null    float64
 3   주구매상품    2482 non-null   object 
 4   주구매지점    2482 non-null   object 
 5   내점일수     2482 non-null   int64  
 6   내점당구매건수  2482 non-null   float64
 7   주말방문비율   2482 non-null   float64
 8   구매주기     2482 non-null   int64  
dtypes: float64(3), int64(4), object(2)
memory usage: 174.6+ KB
None

문자데이터와 숫자데이터 컬럼명만 추출한다.

cat_cols = X_train.select_dtypes(exclude = np.number).columns.tolist()
num_cols = X_train.select_dtypes(include = np.number).columns.tolist()
print(cat_cols)
print(num_cols)

['주구매상품', '주구매지점']
['총구매액', '최대구매액', '내점일수', '내점당구매건수', '주말방문비율', '구매주기']

데이터셋 분리

데이터셋 분리의 기본 원칙은 최대한 데이터의 분포가 일정해야 한다는 것이다.
평소 분석을 할 때는 하나씩 다 확인을 해야하지만, 시험장에서는 분류모델이 문제일 경우에는 y_train 데이터를 기준으로 층화추출을 한다.

X_tr, X_val, y_tr, y_val = train_test_split(
    X_train, y_train['gender'],
    stratify = y_train['gender'],
    test_size=0.3,
    random_state=42
)

X_tr.shape, X_val.shape, y_tr.shape, y_val.shape

((2450, 8), (1050, 8), (2450,), (1050,))

모델 만들기

모델 만들기 1 - 입문자

기본 모델만 만들고 싶다면 아래 코드만 기억한다.

column_transformer = ColumnTransformer([
    ("scaler", StandardScaler(), num_cols),
    ("ohd_encoder", OneHotEncoder(handle_unknown='ignore'), cat_cols)
], remainder="passthrough")

pipeline = Pipeline([
    ("preprocessing", column_transformer),
    ("clf", RandomForestClassifier(random_state=42))
])

pipeline.fit(X_tr, y_tr)

Python 설치 Windows 11

Fri, 24 Nov 2023 00:40:47 +0900

개요

Python 설치 과정을 유투브로 정리하였습니다.
본 튜토리얼은 Streamlit으로 프로젝트 한방에 끝내기 with 파이썬(2023, Sara & Evan) 교재를 동영상으로 변환하는 작업의 일환입니다.

유투브

BigQuery Connect to Google Analytics

Thu, 26 Oct 2023 15:00:30 +0900

개요

BigQuery에서 Google Adwords 데이터와 Google Analytics를 불러올 수 있다.

전제조건

구글 클라우드 사용법은 어느정도 알고 있는 상태를 전제로 한다.
Google Analytics를 이미 활용하고 있다는 것을 전제로 한다.

Google Analytics

왼쪽 메뉴에서 관리 > 제품 링크를 확인한다.

BigQuery 링크 클릭 > 연결 버튼을 클릭한다.

BigQuery 프로젝트를 선택한다.

활성화중인 프로젝트를 선택한다.

데이터 위치를 지정한다. 본 프로젝트에서는 서울로 명명한다.

내보내기 유형은 매일로 선택한다.

사용자 데이터는 일별로 선택한다.

Streamlit App Deployment Compute Engine with Github Action in GCP

Wed, 25 Oct 2023 10:00:30 +0900

개요

Google Compute Engine에서 Gihub Action을 구현하도록 한다.

프로젝트 생성

새 프로젝트 버튼을 클릭 후 프로젝트 명을 streamlit-gitaction으로 명명한다.

Instance 생성

Compute Engine > VM Instance 선택 후, 새로운 인스턴스를 생성한다.

처음 사용하는 경우 사용 버튼을 클릭한다.

최초 작업에는 결제 필요 버튼이 나올 수 있다. 결제 사용 설정을 눌러 결제를 추가한다.

필자는 회사 계정을 사용한 것이므로 이렇게 나오지만, 일반 사용자는 화면이 다를 수 있다.
VM 인스턴스를 생성한다.

MySQL Workbench File Import Error in Mac

Wed, 04 Oct 2023 10:40:30 +0900

개요

MySQL Workbench에서 File을 불러올 때 에러가 발생했을 때 대처 요령을 소개한다.
Workbench에서 File을 불러올 때 가끔 아래와 같은 아래가 발생하곤 한다.

해결방법은 MySQL Shell Script에서 직접 파일을 불러오는 방식이다.

MySQL 재접속

기존에 Workbench에 접속해 있었다면 우선 종료를 한다.

재접속 전 Edit Connection 버튼을 클릭한다.
Advanced Tab을 클릭한다.
- Others 메뉴에서 OPT_LOCAL_INFILE=1 을 입력한다.
- Test Connection 버튼을 클릭하여 정상적으로 접속이 되는지 재 확인한다.

Streamlit App Deployment with nohup in Google Compute Engine

Thu, 28 Sep 2023 16:10:30 +0900

개요

Streamlit과 Bigquery를 연동하는 코드를 구현한다.
가상환경 설정 부터 VS Code 연동까지 준비가 안되어 있다면 이전 글을 참조하기를 바란다.
만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다.

개요

Streamlit Sample 코드를 작성한 후 배포를 진행한다.
VS Code 접속 시 고정 IP를 할당한다.
이 때 터미널이 종료되거나 사용자가 로그아웃해도 계속 실행되도록 nohup을 사용한다.

Nohup의 기본 개념

nohup은 “no hang up"의 약자로, 백그라운드에서 다른 명령을 실행하는 데 사용되는 UNIX 명령으로, 로그아웃한 후에도 계속 실행됨.
원격 서버에서 장기간 실행되는 프로세스를 시작하려는 경우 세션 연결이 끊어지거나 터미널이 닫힐 때 프로세스가 종료되지 않도록 하려는 경우에 특히 유용함.
foreground에서 명령이나 프로세스를 실행할 때 터미널이나 셸 세션이 종료되면 해당 명령이나 프로세스가 종료될 수 있다.
nohup을 사용하면 기본적으로 터미널에서 프로세스를 분리하고 종료(HUP) 신호를 수신하지 못하도록 하여 로그아웃하거나 연결을 끊어도 프로세스가 완료될 때까지 실행할 수 있다.
Python에서 nohup을 실행할 때는 다음과 같다.
- 출력(로그 및 오류)을 특정 파일로 리디렉션하려면 다음 명령을 사용할 수 있다.
- 이렇게 하면 Streamlit 앱의 표준 출력과 표준 오류가 모두 streamlit.log라는 파일로 리디렉션 된다.

nohup streamlit run my_app.py > streamlit.log 2>&1 &

Streamlit 앱을 중지해야 하는 경우 ps 명령을 사용하여 프로세스 ID를 찾은 다음 종료 명령을 사용하면 된다.

ps aux | grep "streamlit run"

그러면 Streamlit과 관련된 프로세스 목록이 표시된다. 삭제하고자 하는 프로세스 ID를 찾아서 종료한다.

kill -9 PROCESS_ID

고정 IP 할당

왼쪽 사이드바 메뉴 > VPC 네트워크 > IP 주소 클릭한다.

Streamlit with Bigquery On Compute Engine

Fri, 22 Sep 2023 10:30:30 +0900

개요

Streamlit과 Bigquery를 연동하는 코드를 구현한다.
가상환경 설정 부터 VS Code 연동까지 준비가 안되어 있다면 이전 글을 참조하기를 바란다.
만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다.

인스턴스 시작

인스턴스가 중지가 되어 있다면 다시 시작을 한다.

BigQuery Client 라이브러리 설치

클라이언트 라이브러리를 설치한다.

pip install --upgrade google-cloud-bigquery

gcloud Installation on Windows 11

Thu, 21 Sep 2023 10:30:30 +0900

개요

Windows 11에서 gcloud 설치를 진행한다.
참조 문서 : https://cloud.google.com/sdk/docs/install-sdk?hl=ko

gcloud CLI 최신 버전(445.0.0) 설치

[Google Cloud CLI 설치 프로그램] (https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe?hl=ko) 다운로드 한다.
또는 PowerShell 터미널을 열고 다음 PowerShell 명령어를 실행한다.
여기에서는 설치 프로그램을 다운로드 받아서 설치한다.

Finish 버튼을 클릭하면 설치는 완료가 된 것이다.

gcloud 연동

위 Finish 버튼과 함께 로그인을 진행한다.

인증절차가 시작완료되면 웹 페이지가 변경되고 터미널 환경도 변경된다.

현재 필자의 프로젝트는 3번에 해당되기 때문에 3번을 클릭한다.

GCP with VS Code SSH Connection

Wed, 20 Sep 2023 10:00:30 +0900

개요

SSH Key를 이용하여 로컬에서 원격으로 GCP 프로젝트에 접속을 한다.
만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다.

SSH Key 생성하기

puTTYgen에서 public / private key 값을 생성한다.

Generate 버튼을 클릭한다.

Private Key를 OpenSSH 방식으로 Export 한다.
- Key Comment에 구글 계정을 입력한다.
- password도 입력한다.

Public Key는 모두 복사한다.

GCP 메타데이터 등록

Compute Engine > 메타데이터 접속하여 SSH 키에 붙여 넣는다.

Python Library Installation on Compute Engine in GCP

Tue, 19 Sep 2023 15:00:30 +0900

개요

기 설치된 Compute Engine에 라이브러리를 설치하고 간단하게 Streamlit 배포를 진행한다.
만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다.
- Spark Installation with GCP (Sept. 2023)
- Compute Engine with Github in GCP

requirements.txt

Github Repo에서 Add file > Create new file을 클릭 후, 아래 주요 라이브러리를 입력한다.
- 파일명 : requirements.txt

라이브러리명은 다음과 같다. 입력 후, Commit Changes 버튼을 클릭한다.

pyspark==3.1.1
pandas
streamlit
matplotlib

현재 파일 목록은 아래와 같다.

Compute Engine with Github in GCP

Tue, 19 Sep 2023 14:00:30 +0900

개요

Google Cloud Project에서 Github 계정을 연동하는 과정을 보여준다.
처음 GCP를 사용하는 독자분들은 이전 글을 참조해서 설정을 먼저 진행한다.
- 참조 : https://dschloe.github.io/gcp/2023/09/spark_installation_gcp/

터미널 열기

기존 인스턴스는 중지를 시켰기 때문에 이를 다시 시작/재개 버튼을 눌러 활성화 한다.

시작 버튼 클릭과 함께 오늘도 비용을 지불해본다.

브라우저 창에서 열기를 진행한다.

Git 설치

터미널에 Git을 설치하는 방법은 다음 명령어를 순차적으로 입력한다.

(base) ~$ sudo apt-get update -y
(base) ~$ sudo apt-get upgrade -y
(base) ~$ sudo apt install git
(base) ~$ git --version

Git Repo 생성

Github에서 Repo를 만든다. (Repo : mulcampFP)
- 보안을 위해 Private으로 지정한다.

Spark Installation with GCP (Sept. 2023)

Tue, 19 Sep 2023 10:00:30 +0900

개요

Spark를 구글 클라우드에 설치하도록 한다.
프로젝트 시작부터 진행한다.

프로젝트 시작

본 화면에서 새로운 프로젝트를 시작한다.
프로젝트명 : mulcampFP

VM 시작하기

VM 만들기를 클릭한다.

활성 결제 계정이 없으면 결제계정을 등록한다.

결제계정이 등록되면 다음과 같이 화면이 나오면 VM 설정이 가능하다.

결제계정까지 완료가 되었으면 다음과 같이 Compute Engine API를 사용 버튼을 클릭해준다.

이름은 mulcamp-gcp 지역은 서울로 했다.

비용에 따라 성능을 선택할 수 있다.

호스트 유지보수 시, VM 인스턴스는 마이그레이션을 권장한다.

MySQL Workbench ERD - 1

Fri, 15 Sep 2023 11:00:30 +0900

개요

MySQL Workbench를 통해 ERD 작업을 수행하도록 한다.

Step 1 - 메뉴 선택

상단 메뉴에서 Database > Reverse Engineer 를 선택한다.

Step 2 - Reverse Engineer Database

Next 버튼을 클릭한다.

Step 3 - Connect to MySQL Server

팝업창에서 root 또는 사용자 비밀번호 입력 후, 확인 버튼을 누르면 아래와 같이 연결이 될 것이다.

Step 4 - Schema 선택

classicmodels 스키마를 선택한다.

Step 4 - Connect to MySQL Server

비밀번호를 입력한다.

MySQL Error Code 1175 해결

Thu, 14 Sep 2023 17:00:30 +0900

개요

Delete 문법을 진행하는데, 아래와 같은 에러가 발생하였다.

옵션 설정을 변경하여 코드를 재실행한다.

Safe Mode 끄기

아래 코드를 실행한다.

SET SQL_SAFE_UPDATES = 0;

Edit > Preferences > SQL Editor > Other 에서 Safe Updates 체크되어 있는 것을 삭제한다.

코드 재 실행

Delete 코드를 재 실행한다.

DELETE FROM tasks WHERE start_date = DATE('2023-09-14');

정상적으로 Delete 코드가 실행된 것을 확인할 수 있다.

MySQL 실습 데이터 추가

Thu, 14 Sep 2023 10:40:30 +0900

개요

강의를 위한 CSV 파일을 Workbench를 통해 업로드를 하도록 한다.

교재

판매처 : https://www.yes24.com/Product/Goods/86544423

Workbench 접속

Local instance MySQL을 클릭한다.

최초 설치 진행시 진행한 password를 입력한다.

로그인한 화면은 아래와 같다.

Sample 데이터 다운로드

사이트 : https://www.mysqltutorial.org/mysql-sample-database.aspx
Download MySQL Sample Database를 클릭하여 다운로드 받는다.

압축파일을 풀면 아래와 같이 mysqlsampledatabase.sql 파일을 확인하다.

쿼리 불러오기

MySQL Workbench을 열고 File > Open SQL Script를 클릭한다.

mysqlsampledatabase.sql 파일을 연다.

MySQL 설치 (윈도우 11 기반)

Wed, 13 Sep 2023 11:40:30 +0900

개요

MySQL 설치를 진행한다.

MySQL 다운로드

사이트 : https://dev.mysql.com/downloads/windows/installer/8.0.html

위 화면에서 2번째를 선택한다. 선택 시, 로그인을 해야 하는 상황이 올수도 있다. 회원 가입 후, 재 진행 한다.
다음 화면에서 Download Now버튼을 클릭한다.

MySQL 설치

다운로드 설치 프로그램을 실행한다.
아래 메뉴에서 선택적으로 설치가 가능하다.
여기에서는 Full 을 선택하고 설치를 진행하도록 한다.

Execute 버튼을 클릭하여 설치를 진행한다.

Next 버튼을 클릭한다.

포트 번호 (3306)를 기억한다.

간단하게 접속을 진행하기 위해 두번째 메뉴 선택 후, Next 버튼을 클릭한다.

MySQL 완전 삭제 (윈도우 11 기반)

Wed, 13 Sep 2023 11:40:30 +0900

개요

기 설치된 MySQL을 완전 삭제하도록 한다.
MySQL은 제어판 및 프로그램 제거를 통해서 삭제가 되지 않고, 이런 상태에서 제거할 경우, 재 설치 시 에러가 발생할 가능성이 높음

프로그램 추가 / 제거

MySQL과 관련된 모든 프로그램을 삭제한다.

appdata에서 MySQL 폴더 삭제

window 버튼 + R을 누른 후, 아래와 같이 %appdata% 입력 후 확인 버튼을 클릭한다.

MySQL 폴더를 삭제한다.

ProgramData에서 MySQL 관련 폴더 삭제

Windows + R 실행 후, %ProgramData% 입력 후 확인 버튼을 누른다.

VS Code with AWS EC2 접속

Mon, 11 Sep 2023 10:13:30 +0900

VSCode - Remote SSH 설치

putty 같은 SSH 툴로 vi 에디터 이용해서 수정
매우 불편함
vscode에서 직접 EC2에 접속하도록 한다.

AWS Extension 확장팩 설치

아래와 같이 확장팩을 설치한다.

Remote SSH Extension 확장팩 설치

Remote - SSH 확장팩을 아래와 같이 설치를 진행하도록 한다.

설치가 완료가 되면 SSH 연결할 호스트를 입력한다.

ssh [계정]@[ip주소]
ssh aa@1.1.1.1

/User/evan/.ssh/config 선택한다.

AWS EC2 접속 (with pem & ppk file)

Sun, 10 Sep 2023 10:13:30 +0900

멀티캠퍼스 AWS 서버 관련 정리

실습용 서버 실행

https://console.aws.amazon.com/console/home
계정 ID(12자리) 또는 계정 별칭 : your account
- ID : your id / PW : your password

실습용 서버 사용자 정보 참조하여 로그인 (강의 때 공유)
비밀번호 변경
- 본인 비밀번호는 반드시 기억한다. (강사비번 : ****)
- Slack 강사 DM으로 남겨주세요.

EC2 실행

우측 상단 리전 정보를 ‘오사카’로 변경 후 서비스 검색창에서 EC2 검색

변경된 상태에서 EC2 검색

Google Apps Script 기본문법 - 2

Tue, 05 Sep 2023 10:30:30 +0900

조건문

if 조건문 코드는 아래와 같음
여러개의 조건문은 && 연산자 또는 || 연산자를 사용한다.

function myFunction_01() {
  let number=9;
  if(number > 10) {
    console.log("큰 수입니다!")
  } else {
    console.log("작은 수입니다.")
  }
}

function myFunction_02() {
  var currentTemperature = 25; 
  var isWeekend = true; 
  var thresholdTemperature = 35; 

  if (currentTemperature > thresholdTemperature && !isWeekend) {
    console.log("집에 계세요!")
  } else if (currentTemperature > thresholdTemperature || isWeekend) {
    console.log("외출하세요!")
  } else {
    console.log("판단을 보류합니다!")
  }
}

반복문

반복문을 활용하여 구구단을 작성한다.

function myFunction_03() {
  var numRows = 9; // Number of rows in the table
  var numColumns = 9; // Number of columns in the table

  for (var i = 2; i <= numRows; i++) {
    var row = '';
    for (var j = 1; j <= numColumns; j++) {
      var result = i * j;
      row += result + '\t'; // Use '\t' to separate columns
    }
    Logger.log(row); // Log the row to the Apps Script log
  }
}

Google Apps Script 기본문법 - 1

Mon, 04 Sep 2023 10:30:30 +0900

개요

Google Apps Script의 기본문법을 배우도록 한다.
변수와 상수, 배열, 객체등을 테스트 한다.

자바스크립트 기초

기초 문법을 배우도록 한다.
아래와 같이 코드 생성 후 실행을 한다.

function myFunction() {
  Logger.log("Hello World");
}

여러 함수를 만들고 선택적으로 실행이 가능하다.
주석 처리는 크게 // /* */ 으로 할 수 있다.

function myFunction01_1() {
  Logger.log("Hello World");
}

function myFunction01_2() {
  console.log("Hello GAS!")

  // 주석 입력
  /*
  여러 행에 걸쳐 주석을 입력한다. 
  */
}

M1 환경설정 XGBoost & LightGBM with Streamlit in Python

Fri, 01 Sep 2023 11:30:47 +0900

개요

M1에서 Python 환경설정을 해본다.
XGBoost & LightGBM 및 Streamlit 설치를 진행한다.

아나콘다 설치

m1 버전의 아나콘다를 설치한다.

깃헙 레포 생성

먼저 github repo를 생성한다.

Conda 가상환경 설정

git clone 명령어를 통해 repo를 로컬로 다운로드 한다.

evan$ git clone https://github.com/yourname/m1_streamlit.git
Cloning into 'm1_streamlit'...
remote: Enumerating objects: 4, done.
remote: Counting objects: 100% (4/4), done.
remote: Compressing objects: 100% (3/3), done.
remote: Total 4 (delta 0), reused 0 (delta 0), pack-reused 0
Receiving objects: 100% (4/4), done.

conda 명령어를 통해 가상환경을 설치한다.
그 후에 가상환경에 접속 후, Python 설치 및 주요 라이브러리를 설치한다.
설치 중간에 메시지가 나오면 Y를 입력 후 계속 설치 한다.

evan$ cd m1_streamlit
m1_streamlit evan$ conda create -n mulcamp python=3.10.3
m1_streamlit evan$ conda activate mulcamp
(mulcamp) m1_streamlit evan$ conda install numpy scipy scikit-learn pandas

Kaggle - Colab API 연동

Sun, 27 Aug 2023 11:30:47 +0900

개요

API 토큰을 내려받은 후, 구글 코랩에서 데이터를 다운로드 받도록 한다.

API 토큰 발급

Kaggle Profile - Settings - API를 순차적으로 클릭 후, Create New Token 버튼을 클릭한다.

아래 화면처럼 다운로드를 받을 수 있다.

Google Colab API 코드 업로드

이제 해당 파일을 바탕화면 등 적당한 곳에 위치시킨 후 아래 코드를 실행한다.

# kaggle.json 파일을 업로드하세요.
from google.colab import files
files.upload()

마지막으로 ~/.kaggle 폴더를 만들고 키 파일을 복사한 후, 보안을 위해 현재 사용자만 이 파일을 읽을 수 있도록 하는 명령어(chmod 600)를 실행한다.

!mkdir ~/.kaggle
!cp kaggle.json ~/.kaggle/
!chmod 600 ~/.kaggle/kaggle.json

캐글 데이터 다운로드

이제 사용할 데이터를 내려받는다.

!kaggle competitions download -c dogs-vs-cats

만약 403 Forbidden 에러 발생 시, 이는 데이터셋에 연관된 규칙에 미동의한 상태로 동의를 진행해야 한다. https://www.kaggle.com/c/dogs-vs-cats/rules 페이지로 이동 후, I Understand and Accept 버튼을 누른다.

Google Colab Plotly Graph 안 보일 때

Thu, 10 Aug 2023 07:40:47 +0900

현상

plotly 라이브러리를 활용하여 Google Colab에서 시각화를 할 때 그래프가 보이지 않는 현상이 존재함
여러 방법론이 등장하지만, 공식문서에 따라서 어떻게 활용하는지 확인하도록 함

Google Colab

먼저 구글 코랩에서 간단한 시각화 코드를 작성하고 코드를 실행한다.

import plotly 
plotly.__version__
# 5.13.1

샘플 코드는 아래와 같음

import plotly.graph_objects as go
import pandas as pd 

temp = pd.DataFrame({
  "Fruit": ["Apples", "Oranges", "Bananas", "Apples", "Oranges", "Bananas"],
  "Contestant": ["Alex", "Alex", "Alex", "Jordan", "Jordan", "Jordan"],
  "Number Eaten": [2, 1, 3, 1, 3, 2],
})

fig = go.Figure()
fig.add_trace(go.Bar(name = "Alex", x = temp['Fruit'], y = temp[temp['Contestant'] == 'Alex']['Number Eaten'].values))
fig.add_trace(go.Bar(name = "Jordan", x = temp['Fruit'], y = temp[temp['Contestant'] == 'Jordan']['Number Eaten'].values))
fig.update_layout(barmode='group')
print(type(fig))
fig.show()

시각화가 나타나지 않을 경우

만약 시각화가 나타나지 않는다면 설정이 제대로 되어 있지 않았을 가능성이 있다.
공식문서를 참조하면 다음과 같다.
- 공식문서 : https://plotly.com/python/renderers/
공식 문서에서의 설명을 보면 다음과 같다.

Scrapy Tutorial - 다중페이지 크롤링

Tue, 08 Aug 2023 07:40:47 +0900

개요

이번에는 Scrapy를 통해서 다중 페이지를 크롤링 하도록 한다.

Target 페이지

타겟 웹사이트 : https://www.audible.com/search

프로젝트 시작

프로젝트 시작은 다음과 같이 할 수 있다.

$ scrapy startproject multiCam_tutorial
New Scrapy project 'multiCam_tutorial', using template directory 'C:\Users\j2hoo\OneDrive\Desktop\your_project_folder\venv\Lib\site-packages\scrapy\templates\project', created in:
    C:\Users\j2hoo\OneDrive\Desktop\your_path\multiCam_tutorial

You can start your first spider with:
    cd multiCam_tutorial
    scrapy genspider example example.com

해당 multiCam_tutorial 경로에서 다음 명령어를 실행하여 타겟 사이트를 설정한다.

$ scrapy genspider audible www.audible.com/search
Created spider 'audible' using template 'basic' in module:
  multiCam_tutorial.spiders.audible

audible.py 파일을 찾아 코드를 확인한다.

Scrapy Tutorial - 기본편

Tue, 08 Aug 2023 06:40:47 +0900

개요

Scrapy Tutorial 설치 과정 및 기본 크롤링 과정을 살펴본다.

라이브러리 설치

라이브러리 설치는 다음과 같다.

pip install scrapy

프로젝트 시작

Django와 비슷하게 터미널 명령어는 startproject라고 입력한다.

$ scrapy startproject multiCam_tutorial
New Scrapy project 'multiCam_tutorial', using template directory 'C:\Users\j2hoo\OneDrive\Desktop\your_project_folder\venv\Lib\site-packages\scrapy\templates\project', created in:
    C:\Users\j2hoo\OneDrive\Desktop\your_path\multiCam_tutorial

You can start your first spider with:
    cd multiCam_tutorial
    scrapy genspider example example.com

파일 구조는 아래와 같이 여러개의 파일로 구성되었다.

타겟 주소는 아래와 같다.
- 주소 : https://www.worldometers.info/world-population/population-by-country/

$ scrapy genspider worldometer www.worldometers.info/world-population/population-by-country
Created spider 'worldometer' using template 'basic' in module:
  multiCam_tutorial.spiders.worldometer

Django - ExcelCalCulator_7

Thu, 03 Aug 2023 06:40:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 이전 글

Step 02 - 프로젝트 완성하기

지금까지 구현한 기능과 미완료된 기능을 확인한다.

Step 03 - 로그인 실패 시 보이는 화면을 구현

우선 사용자가 로그인 실패 시, 보이는 화면으로 구현한다.

Django - ExcelCalCulator_6

Thu, 03 Aug 2023 05:40:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 이전 글

Step 02 - 프로젝트 완성하기

지금까지 구현한 기능과 미완료된 기능을 확인한다.

Step 03 - 엑셀 결과 화면 출력 위한 세션값 저장

우선 calculate 함수의 마지막에 엑셀 결과 화면으로 데이터와 함께 url을 이동시켜본다.
views.py에 코드를 추가한다.
파일 경로 : ExcelCalculate > calculate > views.py

from django.shortcuts import render, redirect
from django.http import HttpResponse
import pandas as pd

# Create your views here.
def calculate(request):
    file = request.FILES['fileInput']
    print("# 사용자가 등록한 파일의 이름: ", file)
    df = pd.read_excel(file, sheet_name="Sheet1", header=0)
    print(df.head())
    # grade별 value 리스트 만들기
    grade_dic = {}
    total_row_num = len(df.index)
    for i in range(total_row_num):
        data = df.loc[i, :]
        if not data.grade in grade_dic.keys():
            grade_dic[data.grade] = [data.value]
        else:
            grade_dic[data.grade].append(data.value)

    # print(grade_dic)
    # grade별 최솟값 최댓값 평균값 구하기
    grade_calculate_dic = {}
    for key in grade_dic.keys():
        grade_calculate_dic[key] = {}
        grade_calculate_dic[key]['min'] = min(grade_dic[key])
        grade_calculate_dic[key]['max'] = max(grade_dic[key])
        grade_calculate_dic[key]['avg'] = float(sum(grade_dic[key])) / len(grade_dic[key])

    # 결과 출력
    grade_list = list(grade_calculate_dic.keys())
    grade_list.sort()
    for key in grade_list:
        print("# grade: ", key)
        print("min:", grade_calculate_dic[key]['min'], end="")
        print("/ max:", grade_calculate_dic[key]['max'], end="")
        print("/ avg:", grade_calculate_dic[key]['avg'], end="\n\n")

    # 아래 코드와 동일
    result = df.groupby('grade')['value'].agg(["min", "max", "mean"])
    print(result)

    # 이메일 주소 도메인별 인원 구하기
    email_domain_dic = {}
    for i in range(total_row_num):
        data = df.loc[i, :]
        email_domain = data['email'].split("@")[1]
        if not email_domain in email_domain_dic.keys():
            email_domain_dic[email_domain] = 1
        else:
            email_domain_dic[email_domain] += 1
    print("## EMAIL 도메인별 사용 인원")
    for key in email_domain_dic.keys():
        print("#", key, ": ", email_domain_dic[key], "명")

    df['domain'] = df['email'].apply(lambda x : x.split("@")[1])
    result2 = df.groupby('domain')['value'].agg("count").sort_values(ascending=False)
    print(result2)

    # 세션 추가
    grade_calculate_dic_to_session = {}
    for key in grade_list:
        grade_calculate_dic_to_session[int(key)] = {}
        grade_calculate_dic_to_session[int(key)]['max'] = float(grade_calculate_dic[key]['max'])
        grade_calculate_dic_to_session[int(key)]['avg'] = float(grade_calculate_dic[key]['avg'])
        grade_calculate_dic_to_session[int(key)]['min'] = float(grade_calculate_dic[key]['min'])
     request.session['grade_calculate_dic'] = grade_calculate_dic_to_session
      request.session['email_domain_dic'] = email_domain_dic

    # return HttpResponse("calculate, calculate function!")
    return redirect('/result')

세션 추가 이하의 코드를 살펴보면 다음과 같다.
- pandas의 기본 자료형은 numpy 기반인데, 장고에서는 numpy 기반의 자료형이 아닌 파이썬 기본 자료형으로 변환해주어야 한다.
- 따라서, 정수형 숫자로 된 것으로 int형으로 유리수 형태의 숫자를 float형으로 자료를 변환한다.
- 형 변환을 하고 나서 해당 값들을 결과 화면에서 사용하려고 세션에 저장해준다.
- 마지막으로 redirect(”/result”) 로 처리하였다.
  - 결과 화면을 관리하는 함수는 main app에 있는 result 함수이다. 따라서, 해당 url로 갈 수 있도록 처리한 것이다.

Step 04 - result 함수 수정

파일 경로 : ExcelCalculate > main > views.py

Django - ExcelCalCulator_5

Thu, 03 Aug 2023 04:40:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 이전 글

Step 02 - 파일 업로드 하기

로그인을 통해 메인 화면으로 왔다면, 파일 업로드 기능 구현

Step 03 - 파일 업로드 기능 구현

check - 1 : index.html 구현

파일 경로 : ExcelCalculate > main > templates > main > index.html
파일 제출 버튼을 눌렀을 때 가려는 url을 등록한다.
또한 enctype="multipart/form-data" 를 추가한다.
- 이것을 사용해야 파일의 내용이 올바르게 전달된다.

        <div class="content">
            <div class="fileInputDiv">
                <form action="**calculate/**" method="POST" enctype="multipart/form-data">{% csrf_token %}
                    <div class="input-group">
                        하단 버튼을 통해 파일을 업로드 해주세요.(.xls 확장자의 파일만 가능합니다.)<br>
                        <input id="fileInput" name="fileInput" type="file" class="form-control">
                        <input type="submit" class="btn btn-success btn-lg" value="파일 제출">
                    </div>
                </form>
            </div>
        </div>

calculate/ 경로는 초기에 ExcelCalculate > ExcelCalculate > urls.py에서 이미 설정해놨다.
- 링크 참조 :

from django.contrib import admin
from django.urls import path, include

urlpatterns = [
    path('email/', include('sendEmail.urls'), name="email"), 
    path('calculate/', include('calculate.urls'), name="calculate"),
    path('', include('main.urls'), name="main"),
    path("admin/", admin.site.urls),
]

ExcelCalcalculate > calculate > urls.py 에서도 이미 설정을 해놨다.

from django.urls import path
from . import views

urlpatterns = [
    path('', views.calculate, name="calculate_do"), 
]

check - 2 : views.py 구현

파일 경로 : ExcelCalculate > calculate > views.py
이 때, request.POST가 아닌 request.FILES를 이용한다.

# Create your views here.
def calculate(request):
    file = request.FILES['fileInput']
    print("# 사용자가 등록한 파일의 이름: ", file)
    return HttpResponse("calculate, calculate function!")

check - 3 : 테스트

이제 data.xlsx 파일을 업로드 한다.
파일 제출 버튼을 누를 시, 웹에서는 정상적으로 calculate, calculate function! 출력이 되어야 하고 터미널에서는 아래와 같이 print() 문구가 나와야 한다.

Django - ExcelCalCulator_4

Thu, 03 Aug 2023 03:40:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 이전 글

Step 02 - 로그인 기능 구현

로그인된 사용자만 이용할 수 있도록 구현
이 때, 현재 사용자가 로그인된 사용자인지 판단하려고 세션 사용
회원 가입 통한 과정 이외에도 정상적인 로그인 과정에서도 세션 처리 진행

Step 03 - 로그인 처리 구현

check - 1 : signin.html 구현

파일 경로 : ExcelCalculate > main > templates > main > signin.html

                <h3>안녕하세요. 로그인을 진행해주세요.</h3><br>
                <form action="signin/login" method="POST">{% csrf_token %}
                    <div class="input-group">

check - 2 : urls.py

urls.py에서도 처리해준다.

Django - ExcelCalCulator_3

Thu, 03 Aug 2023 02:40:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 이전 글

Step 02 - 인증하기 구현

자신의 이메일로 발송된 인증 코드를 입력한 후, “인증하기” 버튼을 누르면, main app 의 [views.py](http://views.py) 파일에 만들어 놓은 verify 함수로 오도록 설정한다.
- verifyCode.html url을 설정한다.
- 파일 경로 : ExcelCalculate > main > templates > main > verifyCode.html
- 46번 줄의 form 태그 action 값을 verify로 설정

                <h3>이메일로 전송된 메일의 인증코드를 입력해주세요.</h3><br>
                <form action="verify" method="POST">{% csrf_token %}
                    <div class="input-group">

이번에는 main app > views.py에 verify 함수를 구현한다.
- 사용자가 입력한 code 값을 받아왔고, 쿠키에 저장된 code 값을 가져온다.
- 두 값을 비교해 일치할 때는 해당 사용자의 user_validate 값을 1로 변경시켜준다.
- user의 user_validate 값은 1로 변경시켜 준 후, 해당 변경 사항을 저장한다.
- 한번 더 쿠키 값을 세팅하려고 redirect 함수에 메인 화면을 넘겨 준 결괏 값은 response로 받아와서 해당 response에 대해 이전에 설정한 2개의 쿠키값을 삭제하고, 로그인된 유저의 정보를 쿠키로 설정하며 response를 반환해 준다.
- 만약 두 값이 일치하지 않는 경우, 다시 인증 코드 입력 화면으로 redirect 시켜 준다.
- 코드 구현 후, 회원 가입을 재 진행한다. 이메일로 전송된 인증 코드를 입력 한다.

from django.shortcuts import render, redirect
from random import * 
from .models import *
from sendEmail.views import *

# Create your views here.
def index(request):
	# 생략

def signup(request):
	# 생략

def join(request):
	# 생략

def signin(request):
	# 생략

def verifyCode(request):
	# 생략

def verify(request):
    user_code = request.POST['verifyCode']
    cookie_code = request.COOKIES.get('code')
    if user_code == cookie_code:
        user = User.objects.get(id = request.COOKIES.get('user_id'))
        user.user_validate = 1
        user.save()
        
        response = redirect('main_index')
        response.delete_cookie('code')
        response.delete_cookie('user_id')
        response.set_cookie('user', user)
        return response
    else:
        return redirect('main_verifyCode')

def result(request):
	# 생략

인증이 이루어진 과정은 아래와 같다.

Django - ExcelCalCulator_2

Thu, 03 Aug 2023 01:40:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 이전 글

1편 : https://dschloe.github.io/python/2023/08/django_excel_calculator_1/

Step 02 - 이메일 인증으로 회원 가입

절차는 다음과 같다.
- 회원 가입 화면에서 개인정보 입력 후 회원 가입하기 버튼 클릭 때 해당 정보로 유저 데이터 생성 및 DB에 저장, 이 때 인증되지 않은 유저로 등록
- DB에 저장 후, 입력한 이메일로 인증 코드 발송
- 발송된 인증 코드는 유저 이름과 함께 쿠키로 저장 후 인증 코드 입력 화면으로 전환
- 인증 코드 입력 화면에서 인증 코드 입력 후 인증하기 버튼 클릭 때 입력된 코드와 쿠키에 저장된 인증 코드 비교 후 회원 성공/실패 처리
- 성공 때는 회원의 인증 값을 true 로 설정, 실패 때 해당 회원정보 삭제

Step 03 - DB 설정

사용자 정보를 저장할 수 있는 모델을 만들어야 한다.
회원 가입 시 필요한 기본 정보 : 이름, 이메일, 비밀번호, 그리고 사용자의 인증여부를 체크해 주는 정보를 가지게 된다.
- 파일 경로 : ExcelCalculate > main > models.py

from django.db import models

# Create your models here.
class User(models.Model):
    user_name = models.CharField(max_length = 20)
    user_email = models.EmailField(unique=True)
    user_password = models.CharField(max_length=100)
    user_validate = models.BooleanField(default=False)

User 모델을 정의했다면, 이를 반영하기 위해서 아래 명령어들을 통해 migrations 파일을 만들고 migrate 한다.

$ python manage.py makemigrations
Migrations for 'main':
  main\migrations\0001_initial.py
    - Create model User
$ python manage.py migrate
Operations to perform:
  Apply all migrations: admin, auth, contenttypes, main, sessions
Running migrations:
  Applying main.0001_initial... OK

Step 04 - 회원가입 url 설정

회원 가입 때 사용자 데이터를 저장하기 위해, 먼저 signup.html 에서 회원 가입 버튼 클릭 때 이동할 url 설정을 하도록 한다.

Django - ExcelCalCulator_1

Thu, 03 Aug 2023 00:40:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - Github Repo 생성

아래와 같이 Github Repo를 생성한다.

Step 02 - 가상환경 생성 및 라이브러리 설치

virtualenv 명령어를 활용하여 가상환경을 설치한다.
실행 경로 : ExcelCalculate-with-Django

$ virtualenv venv
created virtual environment CPython3.9.13.final.0-64 in 2305ms
  creator CPython3Windows(dest=C:\Users\j2hoo\OneDrive\Desktop\ExcelCalculate-with-Django\venv, clear=False, no_vcs_ignore=False, global=False)
  seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy, app_data_dir=C:\Users\j2hoo\AppData\Local\pypa\virtualenv)
    added seed packages: pip==23.1.2, setuptools==68.0.0, wheel==0.40.0
  activators BashActivator,BatchActivator,FishActivator,NushellActivator,PowerShellActivator,PythonActivator

가상환경 접속 방법은 Windows와 Mac/Linux 계열이 다르다.

네이버 API 사용 신청 (2023 Aug)

Wed, 02 Aug 2023 14:00:47 +0900

개요

크롤링을 위해 네이버 API 사용을 신청해본다.

Step 01 - 사이트 접속

네이버 개발자센터 사이트에 접속한다.
URL : https://developers.naver.com/main/

Step 02 - 로그인

화면 우측 상단에서 로그인을 진행한다.

Step 03 - API 이용신청 및 Application 등록

상단 메뉴에서 Application 클릭 후, 내 애플리케이션을 클릭한다.

확인 버튼을 클릭한다.

이용약관에 동의한다.

계정 정보를 등록 및 휴대폰 인증을 진행한다.

애플리케이션을 등록한다. (아무이름을 작성한다)
개인 PC로 접속하기 위해 WEB 설정 - localhost를 입력한다.
사용 API는 여기에서는 간단하게 검색만 지정한다.

크롬드라이버 설정 방법 - Windows (2023 Aug)

Tue, 01 Aug 2023 14:00:47 +0900

개요

selenium 4.10 버전에서 크롬드라이버 설정하는 방법에 대해 기술하고자 한다.

크롬 버전 확인

크롬 버전 확인은 아래와 같이 진행한다.
먼저 설정을 클릭한다.

Chrome 정보를 클릭한다.

본인의 크롬 버전을 확인한다.

크롬 드라이버 다운로드

싸이트 : https://chromedriver.chromium.org/downloads

여기에서 각 크롬버전에 맞게 들어간다.
그런데 간혹 최신버전은 빨간색 글씨 처럼 별도로 접근해 들어가야 한다.
- 참고 : https://googlechromelabs.github.io/chrome-for-testing/

필자의 경우 크롬 버전은 115.0.5790.110 이지만 Status가 X로 되어 있다. 이럴 경우 115.0.5790.102 버전을 선택 한다.

PowerShell 실행정책 Unrestricted 설정 방법

Mon, 31 Jul 2023 14:00:47 +0900

개요

vagrant 가상환경 설치 중 몇몇 수강생 분들의 에러 확인
PowerShell 실행정책에 따라, 잘 안되는 것을 확인
그런데 choco 실행 전에는 아래와 같이 설정을 하라고 되어 있다.

그런데, 일부 수강생중에는 설치 시 에러가 나는 것을 확인, 따라서 이를 모두 unrestricted로 변경 후, 재 설치를 진행해본다.
- 이전 글 참조 : https://dschloe.github.io/settings/2023/7/window_vagrant_ubutun18_04_python/

choco 설정의 내용 재 확인

choco 공식 홈피에서 제공한대로 설정을 해본다.

PS C:\Users\j2hoo> Get-ExecutionPolicy
Restricted

위 상황에서 첫번째 명령어를 입력한다.

PS C:\Users\j2hoo> Set-ExecutionPolicy AllSigned
PS C:\Users\j2hoo> Get-ExecutionPolicy
AllSigned

현재 전체 실행 정책 목록을 확인해본다.

PS C:\Users\j2hoo> Get-ExecutionPolicy -List

윈도우 우분투 가상 환경 설치 (feat.chocolatey)

Sun, 30 Jul 2023 14:00:47 +0900

개요

크롤링 교재에서 윈도우에 우분투 가상 환경을 설치하는 부분이 있어서 실제로 잘 되는지 테스트를 해보았다.
향후 교재를 활용한다면, 해당 가상환경에서 진행 하는 것도 고려할 수 있다.
가상환경은 vagrant를 활용했다.

교재

파이썬을 활용한 크롤러 개발과 스크레이핑 입문

Step 01. Chocolatey 설치

윈도우에서 많이 활용되는 패키지 매니저가 바로 Chocolatey 이다.
먼저 3가지를 확인해야 한다.
첫번째 PowerShel이 설치 되어 있어야 하며, 최소 지원 버전은 3이다.
- PowerShell 버전 확인
- PowerShell 탭을 열고 $PSVersionTable 명령어를 실행한다.

PS C:\Users\j2hoo> $PSVersionTable

Name                           Value
----                           -----
PSVersion                      5.1.22621.1778
PSEdition                      Desktop
PSCompatibleVersions           {1.0, 2.0, 3.0, 4.0...}
BuildVersion                   10.0.22621.1778
CLRVersion                     4.0.30319.42000
WSManStackVersion              3.0
PSRemotingProtocolVersion      2.3
SerializationVersion           1.1.0.1

Django Gmail 발송 예제 (2023년 버전)

Thu, 27 Jul 2023 00:01:47 +0900

개요

최근 django 강의를 진행하면서, Gmail로 이메일을 발송 하는 예제에서 인증 코드 진행하는 부분이 오래된 것을 확인
업그레이드 된 버전을 소개한다.

가상환경 및 django 라이브러리 설치

먼저 빈 폴더를 생성 후, 가상환경을 생성한다.
(옵션) virtualenv 라이브러리 미 설치 시

$ pip install virtualenv

기 설치가 되어 있다면 아래 코드를 순차적으로 실행한다.

$ virtualenv venv
$ source venv/Scripts/activate

가상환경에 접속해 있다면 django를 설치 한다.

$ pip install django

장고 프로젝트 및 앱 설치

이제 장고 프로젝트를 설정한다.

$ django-admin startproject djangogmail

이제 해당 프로젝트 폴더에서 1개의 app을 만들어준다.

$ cd djangogmail/
$ python manage.py startapp main

앱을 등록해준다.
- 파일 경로 : djangogmail > djangogmail > settings.py

INSTALLED_APPS = [
    "django.contrib.admin",
    "django.contrib.auth",
    "django.contrib.contenttypes",
    "django.contrib.sessions",
    "django.contrib.messages",
    "django.contrib.staticfiles",
    "main"
]

runserver를 실행하여 장고 기본 화면이 나오는지 확인한다.

$ python manage.py runserver

Django Project ToDoList - 5

Wed, 26 Jul 2023 00:40:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 이전 내용 확인

이 글을 처음 봤다면, 이전 블로그를 참조하기를 바란다.
- 첫번째 글 : https://dschloe.github.io/python/2023/07/django_todolist_1/
- 두번째 글 : https://dschloe.github.io/python/2023/07/django_todolist_2/
- 세번째 글 : https://dschloe.github.io/python/2023/07/django_todolist_3/
- 네번째 글 : https://dschloe.github.io/python/2023/07/django_todolist_4/

Step 02 - 데이터 삭제 방법 개요 및 HTML 수정

완료 버튼을 눌렀을 시, 데이터를 삭제하는 기능을 구현한다.
HTML 코드를 살펴보면 완료 버튼이 존재한다.
- 완료 버튼을 클릭할 때, form 태그 내에 있는 input 태그의 값이 함께 넘어오고, input의 value 값을 이용해 DB에서 알맞은 데이터를 찾아 삭제한다.

          <div class="toDoDiv">
                <ul class="list-group">
                    {% for todo in todos %}
                    <form action="" method="GET">
                        <div class="input-group" name='todo1'>
                            <li class="list-group-item">{{ todo.content }}</li>
                            <input type="hidden" id="todoNum" name="todoNum" value="{{ todo.id }}"></input>
                            <span class="input-group-addon">
                                <button type="submit" class="custom-btn btn btn-danger">완료</button>
                            </span>
                        </div>
                    </form>
                    {% endfor %}
                </ul>
            </div>

form 태그의 action은 아직 정의되지 않았는데, 완료 버튼을 클릭 시, form 태그의 action값을 설정하도록 한다.

Django Project ToDoList - 4

Wed, 26 Jul 2023 00:30:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 이전 내용 확인

이 글을 처음 봤다면, 이전 블로그를 참조하기를 바란다.
- 첫번째 글 : https://dschloe.github.io/python/2023/07/django_todolist_1/
- 두번째 글 : https://dschloe.github.io/python/2023/07/django_todolist_2/
- 세번째 글 : https://dschloe.github.io/python/2023/07/django_todolist_3/

Step 02 - 남은 과제

사용자가 입력한 문자열을 데이터베이스에 저장하기
DB에 저장된 내용을 보여 주기

Step 03 - 모델에 데이터 저장

먼저, my_to_do_app 폴더에 있는 [views.py](http://views.py) 파일에서 model을 사용하려면 [models.py](http://models.py) 파일을 불러와야 한다.

Django Project ToDoList - 3

Wed, 26 Jul 2023 00:20:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 이전 내용 확인

이 글을 처음 봤다면, 이전 블로그를 참조하기를 바란다.
- 첫번째 글 : https://dschloe.github.io/python/2023/07/django_todolist_1/
- 두번째 글 : https://dschloe.github.io/python/2023/07/django_todolist_2/

Step 02 - model.py 작성 및 장고 서버 반영

ToDo에 대한 데이터를 다룰 예정이며, 다음과 같이 코드를 작성한다.
- 파일 경로 : ToDoList > my_to_do_app > models.py

from django.db import models

# Create your models here.
class Todo(models.Model):
    content = models.CharField(max_length=255)

위 코드를 실제 Django 서버에 등록해줘야 한다. 다음과 같은 명령어를 입력한다.
- 실행 경로는 [manage.py](http://manage.py) 이 있는 곳에서 아래 코드를 실행한다.

$ ls
db.sqlite3  manage.py*  my_to_do_app/  ToDoList/

$ python manage.py makemigrations
Migrations for 'my_to_do_app':
  my_to_do_app\migrations\0001_initial.py
    - Create model Todo

그런데, 아직 데이터베이스 모델과 같은 테이블이 생성된 것은 아니다. 다음 명령어를 추가한다.

$ python manage.py migrate
  Applying auth.0001_initial... OK
  Applying admin.0001_initial... OK
  Applying admin.0002_logentry_remove_auto_add... OK
  Applying admin.0003_logentry_add_action_flag_choices... OK
  Applying contenttypes.0002_remove_content_type_name... OK
  Applying auth.0002_alter_permission_name_max_length... OK
  Applying auth.0003_alter_user_email_max_length... OK
  Applying auth.0004_alter_user_username_opts... OK
  Applying auth.0005_alter_user_last_login_null... OK
  Applying auth.0006_require_contenttypes_0002... OK
  Applying auth.0007_alter_validators_add_error_messages... OK
  Applying auth.0008_alter_user_username_max_length... OK
  Applying auth.0009_alter_user_last_name_max_length... OK
  Applying auth.0010_alter_group_name_max_length... OK
  Applying auth.0011_update_proxy_permissions... OK
  Applying auth.0012_alter_user_first_name_max_length... OK
  Applying my_to_do_app.0001_initial... OK
  Applying sessions.0001_initial... OK

Step 03 - DB 확인

실제 Django 프로젝트 DB에 접근해서 확인하도록 한다.

$ python manage.py dbshell
SQLite version 3.39.3 2022-09-05 11:02:23
Enter ".help" for usage hints.
sqlite>

테이블을 확인하기 위해서 다음 명령어를 이용한다.
- my_to_do_app_todo 테이블이 만들어졌음을 확인한다.

sqlite> .tables
auth_group                  django_admin_log
auth_group_permissions      django_content_type       
auth_permission             django_migrations
auth_user                   django_session
auth_user_groups            my_to_do_app_todo
auth_user_user_permissions

테이블이 가진 정보를 확인한다.

sqlite> PRAGMA table_info(my_to_do_app_todo);
0|id|INTEGER|1||1
1|content|varchar(255)|1||0

SELECT 명령어를 통해 데이터가 있는지 확인해본다.
- 아무런 데이터가 없기 때문에 조회는 되지 않는다.

sqlite> SELECT * FROM my_to_do_app_todo;

Step 04 - HTML 코드 해석

index.html 파일을 연다.
44번째 줄의 form 태그를 살펴본다.

Django Project ToDoList - 2

Wed, 26 Jul 2023 00:10:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 이전 내용 확인

이 글을 처음 봤다면, 이전 블로그를 참조하기를 바란다.
- 첫번째 글 : https://dschloe.github.io/python/2023/07/django_todolist_1/

Step 02 - HTML 템플릿 사용

HTML과 CSS가 적용된 기본 템플릿은 다음 github 저장소에서 다운로드 받을 수 있다.
- 책 저자 깃허브 : https://github.com/doorBW/Django_with_PracticeExamples
my_to_do_app 폴더에 가면 templates 폴더는 처음에는 존재하지 않는다. 따라서, 새로운 폴더를 생성하여 폴더명을 templates라고 명명한다.

Django Project ToDoList - 1

Tue, 25 Jul 2023 00:01:47 +0900

개요

Django 한 그릇 뚝딱 교재의 내용에서 멀티캠퍼스 강의에 맞게 일부 수정함
2019년 버전이고 현재는 2023년이기 때문에 소스코드 변경 사항이 필요할 거 같아서 글을 남김

교재 홍보

교재 구매 : https://www.yes24.com/Product/Goods/83568594

Step 01 - 깃허브 Repo 생성

아래와 같이 깃허브에서 Repo를 생성한다.
Repo명 : ToDoList-with-Django

Step 02 - 바탕화면으로 Git Clone

이 때 중요한 것은 본인 경로에 한글이 없도록 하는 것이 중요하다.
간혹 한글이 있는 경우 인코딩 문제로 라이브러리 설치 등 되지 않을 수가 있다.
복사할 때는 $ 는 제외한다.

$ git clone https://github.com/your_account_id/ToDoList-with-Django.git

대전 공기관 태블로 강의 실습

Tue, 18 Jul 2023 01:03:28 +0900

개요

본 튜토리얼은 실제 공기관에서 진행할 때 수강생들이 직접 보고 할 수 있도록 만든 샘플 자료입니다.
무단 복사 및 블로그 게시는 금지입니다.

Step 01. Tableau Public 다운로드

아래 경로에서 Tableau Public를 다운로드 받는다. [만들기] - [Tableau Desktop Public Edition 다운로드]
- 참고 : https://public.tableau.com/app/discover

Step 02. Tableau Desktop 설치 시작

Step 03. 태블로 화면 확인 및 파일 불러오기

아래 화면에서 Microsoft Excel 파일 불러온다.

Step 04. 워크시트 1 - 지역별 근로자 수 현황

엑셀 데이터를 불러온 후, 시트로 이동한다.

필자의 직무전환, 이직, 그리고 연봉 점프업 1편

Mon, 17 Jul 2023 01:03:28 +0900

개요

수강생들이 가장 궁금해 하는 연봉에 대한 여러가지 이야기
그리고 필자의 이야기
마케팅, SI, 스타트업, 그리고 프리랜서의 이야기
약 2편에 걸쳐서 연재할 예정

어느 오픈 카톡방에서..

필자가 주로 애용하는 오픈 카톡방이 있다. 다양한 정보와 수다를 즐기는 곳인데, 여기에 아래와 같은 글이 공유되었다.
- 참조 : 연봉 점프업의 비밀 1/3(산업구조 관점) by Soojung Shin
이 글을 읽으니 필자의 과거 행적이 스쳐 지나갔다.

첫번째 꿈은 선교 그리고 NGO

20대의 꿈은 쉽게 말하면 돈을 버는 직업은 아니었다. 20대만 해도 커리어의 중요성 보다는 그저 가치 중심으로 살았다. 기본적인 철학.
사고 전환의 계기 : 호주 워킹홀리데이(2011년)
- 지금은 호주 달러가 매우 약했지만, 운이 좋았던 탓인지 그 당시에는 미국 달러보다 높았다. 이 때 나는 호주에서 약 4개월의 일을 했다. 투잡, 쓰리잡을 하면서, 소위 허드렛일을 하면서 저축한돈이 약 1천 2백만원 가량 되었다 (세금 환급 포함)
그 당시 한국에서 일을 하는 걸 선택하는 대신, 호주에서 일했던 경험이 나에게는 신선한 충격이었다.
- 같은 일을 하더라도 어느 지역, 어느 나라에서 하느냐에 따라 모을 수 있는 자산의 크기는 달랐다.
- 이 4개월의 경험이 9년 후, 향후 내가 프리랜서와 현재 일을 선택하는데 주저함이 없도록 만들어 버렸다.
호주에서 돌아와도 여전히 선교와 NGO의 꿈은 놓지 않았고, 관련 대학원에 진학했다. 그리고 여기에서 또 한번의 충격을 받는다.
- 석사를 졸업한 형의 2014년 NGO 월급여 150만원 –> 2년 뒤 그 형은 NGO를 그만두고 멕시칸 음식을 팔기 시작했다.

IT 기술 그리고 빅데이터의 시대에의 적응

첫번째 꿈을 접고 난 후, 방황을 했던 필자는 지도교수님이 잠깐 알려준 데이터 마이닝에 꽂히기 시작했다. 그리고 그 선택이 현재의 인생이 되었다.
DataCamp를 통해 당시 핫했던 R을 공부하기 시작했다. 다행스러웠던 것은 그래도 영어를 충실히 배웠기 때문에, 영어로 공부하는 것에 대해 거부감이 없었다. 그렇게 독학을 1년 넘게 하기 시작했다.
- 이 때, 기초 프로그래밍, 통계, 머신러닝 등을 모두 독학했다.
- 공모전에도 혼자 나가기 시작했다. 성과를 낸 건 아니었다. 그러나 공모전에 혼자 나가면서 데이터 분석의 개념과 방향성에 대해 잡히기 시작했다.
그런데, 중요한 것은 이것들은 모두 다른 일을 하면서 직장을 마치고 난 후, 주말에 꾸준하게 공부했다라는 것이다. 여기에서 수강생들에게 조언하는 것이 있다.
- 그리고 이 지점이 내가 읽어보라고 추천하는 글과 다른 지점이다.
- 현실적으로 모든 수강생이 좋은 회사에 들어갈수는 없다. 현재 나의 전공, 나이, 학력이 중요하다.
- 진로 컨설팅을 할 때, 나이가 어리고, 어느정도 대학 학사를 보유했다면 필자는 수강생에게 보다 높은 곳을 지원할 것을 권한다. 지원해서 인턴이라도 할 수 있으면 하라고 권한다. 첫직장에 삼성전자 인턴 경험을 했다고 가정해보자. 두번째 직장을 구하는 것은 훨씬 쉽다.
- 문제는 그렇지 못한 전공, 나이, 학력을 가지고 있을 때다. 가장 고민이 되는 사람들은 30대 초반의 비전공자, 전문대/고졸이다. 이 수강생이 좋은 회사에 신입으로 들어갈 확률은? 필자는 0으로 본다. 그럼 시작해야 할 곳은 좋지 못할 직장에서 시작할 가능성이 크다. 이 지점이 바로 모순점이다. 첫번째 직장이 중요하다고 하는데, 30대 초반의 비전공자, 전문대/고졸 출신에게 좋지 못할 직장에서 시작하라고 권하는 것이 맞는 컨설팅인가?
- 필자는 맞다고 본다. 그런데, 선택 기준이 있다. 선택 기준은 SI 업체, 마케팅 대행 업체에 들어간다고 해도 고객사가 누구냐에 따라 달라진다.
- 기본적으로 IT/빅데이터 산업 구조는 하청구조이다. 하청이라는 것은 원청이 존재하고, 원천에서 사업을 발주하여 여러 SI업체에 외주를 준다. 이 때, 본인이 능력을 발휘하여 고객사에게 인정을 받았다면, 비록 현실은 SI업체에서 저임금을 받고 있지만, 실력은 이미 고객사(대기업) 수준으로 인정을 받았다는 것을 의미한다.

첫번째 직무 - 마케팅 관련

필자가 경험했던 시나리오다. 필자가 IT/빅데이터 직무를 시작했을 때의 스펙은 다음과 같다.
- 필자의 나이 30대 초반, 학점은행 경영학사, IT/빅데이터 관련 자격증 없음, 국비교육 2회 수료
- 당시, 대기업에 들어갈 확률 0 / 공기업에 취업할 확률 0
그래서, 필자는 경력이 중요하다고 판단했고, 그 경력을 이루기 위해 중소업체에 100여군데에 이력서를 내기 시작했다.
- 이 때, 면접까지 간 업체의 수는 5군데 남짓. 이 시기가 독학으로 공부한지 1년이 넘을 때다.
처음에는 SI 업체에 가고 싶었다. 그러나 받아주는 곳은 한군데도 없었다. 그게 그 때 당시의 내 실력이었다.
그래서, 마케팅 관련쪽으로도 지원서를 넣기 시작했고, 그리고 프랜차이즈컨설팅 업체로 이직하게 되었다.
- 원했던 직무는 아니었다. 그러나 대안이 없었다. SI업체에서 경력을 쌓고 싶었지만 받아주는 곳이 없었던 필자에게 그 와 유사한 일을 시작할 수 있는 것만으로도 감사할 따름이었다.
일하면서 배운 기술 : Google Analytics, Google Tag Manager, Data Studio, 제안서

두번째 직무 - 데이터분석 관련

일을 하면서, 원래 가고자 했던 SI 업체에 이력서를 계속 넣었다. 일을 하면서도 이력서를 넣는 일은 마다하지 않았고, 공부도 틈날 때마다 계속 했다. 이 때에도 약 50여군데는 넣었던 거 같다.
그리고 드디어 기회를 잡았다. 대표님이 당시 LG CNS 출신이셨고, 이제 막 회사를 차렸다. 입사할 당시, 나와 같이 경력이 미천한 사람만 4명 있었다.
- 강남역 조그만 사무실에서 대표님 포함 5명 + 그 외 다양한 자문을 주신 분들이 있었다.
여기에서 매우 귀중한 기회를 잡게 된다.
- 회사의 업력이 짧았기 때문에, 단독으로 공기관 입찰은 불가했다. 그런데, 당시 다른 회사에 얹혀서 프로젝트를 하던 중(보통 하청의 재하청이라 말함) 담당 프로젝트 매니저로부터 강의를 제안 받는다. R로 하는 머신러닝 강의
- 당시 필자는 이미 R로 DataCamp를 통해서 꾸준하게 공부를 해왔던 터라, 강의 준비할 시간은 있었다.
- 그런데, 강의 경력은? 없었다. 그런데 강의를 하라고 부탁을 받은 것이다. 그리고 대표님도, 이 회사에 R을 할 수 있는 사람은 나뿐이라, 내가 꼭 해야 한다는 것이다.
- 이 강의가 인생의 전환 포인트가 되었다. 향후 세번째 회사로 이직할 때도 그 회사 대표님이 이 강의를 언급하면서, 짧은 경력에 어떻게 여기에서 강의를 했느냐고 물어볼 정도였으니…
업무 성과의 중요성 : 그리고 오퍼를 받기 시작함
- 약 3일간의 강의를 진행하였고, 그 후에 3번의 강의를 더하게 된다.
- 그런데, 분석 관련 미팅 및 프로젝트를 하게 되면서 고객사로부터 계약직 제의를 받기 시작했다.
이 때, 필자는 이직 타이밍을 재기 시작했다.
일하면서 배운 기술 : IT기술 영업, 제안서, AWS, AZURE, GCP 클라우드, Python, SQL, 그리고 IT 프로그래밍 강의

세번째 직무 - 빅데이터 팀장

수강생들에게 하고 싶은 말이 여기에 있다. 첫번째 직장이 중요하다! 그러나, 더 중요한 것은 SI에서 일을 시작했다면, 고객사로부터 인정을 받는 것이 중요하다. 고객사로부터 인정을 받았다면, 그 때가 이직할 타이밍이고, 그리고 이직할 타이밍에서 중요한 건 내가 이직하려고 하는 회사의 산업구조를 이해하는 것이 중요하다.
이 부분은 2편에서 연재할 예정

직무를 전환할 때 반드시 필요한 것 2가지

1일 블로그와 깃허브
필자의 수업을 들었던 수강생들과 가끔 저녁 및 식사를 할 때가 종종 있다. 그럼, 그 친구들이 나로부터 들었던 말 중 기억나는 것을 얘기할 때 마다, 1일 블로그와 깃허브를 종종 말한다.
필자가 가장 아쉬워 하는 것 중의 하나가, 만약 2013년, 14년, 16년 프로그래밍을 처음 접하던 시절부터 블로그와 깃허브를 꾸준히 했더라면.. 하는 아쉬움이 늘 존재한다.
블로그는 본격적으로 프리로 전환한 2020년부터 하기 시작했다. 만약 그 전부터 꾸준히 했더라면, 어땠을까? 하는 아쉬움이 늘 존재한다. 그랬다면 최소 1000개의 글이 내 블로그에 존재할지도 모르겠다.
신입에게 내 성실성과 꾸준함을 객관화 시킬 수 있는 것은 어쩌면 프로그래밍 관련 블로그 뿐일지도 모른다.
참고로 이 글은 3년간 작성한 글의 447번째 글이 될 것이다.

2023년 상반기 결산 - 좋은 인연, 박사학위, 자격증, 출판, 유럽여행

Sat, 15 Jul 2023 01:03:28 +0900

개요

블로그를 3년간 운영하면서 회고 또는 결산하는 글을 써본적은 없었다.
요즘에 역 시차적응 때문인지.. 최근 중요한 결정을 내린 후폭풍인지.. 새벽에 자주 잠이 깨는데, 일어난 김에 몇가지 회고의 글을 남겨보려고 한다. (글쓰는 현재 지금 시각 새벽 2시다..)

좋은 인연

상반기에도 좋은 인연이 생겼다.
- 수많은 학생들, 새로운 기회의 확장, 새로운 학교 및 새로운 과정에서의 여러 만남들
  - 2개 기관은 작년에 이어서 진행한 건, 1개 기관은 신규로 진행한 건
  - 강의 평가가 모두 좋게 나와서 감사할 뿐이다.
- 취업준비생 및 재직자 대상으로 약 100여명 넘는 사람들을 만난 듯 하다.
- 모두 원하는 일과 취업 잘되기를 기도 및 소망한다.
- 과거 3년전에 만났던 수강생도 최근에 결혼을 했다. 결혼하거든 연락 꼭 주세요 ㅎㅎ
상반기 가장 좋은 인연은 공저자 Sara를 만난 것이다.

(파이썬) 빅데이터 분석기사 실기 - 제2유형, 회귀

Thu, 22 Jun 2023 00:01:47 +0900

작업형 2유형 최종정리

작업형1 : 3문제 (30점), 데이터 전처리
작업형2 : 1문제 (40점), 분류/회귀 예측 모델링
작업형3 : 2문제 (30점), 가설 검정

주요 라이브러리

palmerpenguins : 팔머펭귄 데이터셋의 목표는 iris 데이터셋의 대안으로 데이터 탐색 및 시각화를 위한 데이터셋 제공.
scikit-learn : 머신러닝을 위한 라이브러리
lightgbm : LightGBM은 Microsoft에서 개발한 오픈 소스 기계 학습 라이브러리로, 대용량 데이터셋에서 빠른 속도와 높은 성능을 제공하는 것이 특징

주의

각 코드에 대한 설명은 별도로 하지 않습니다.

데이터 파일 불러오기

import pandas as pd 
from palmerpenguins import load_penguins 

penguins = load_penguins()
penguins['ID'] = penguins.reset_index().index + 1
penguins.head()

(파이썬) 빅데이터 분석기사 실기 - 제2유형, 분류

Wed, 21 Jun 2023 00:01:47 +0900

작업형 2유형 최종정리

작업형1 : 3문제 (30점), 데이터 전처리
작업형2 : 1문제 (40점), 분류/회귀 예측 모델링
작업형3 : 2문제 (30점), 가설 검정

주요 라이브러리

palmerpenguins : 팔머펭귄 데이터셋의 목표는 iris 데이터셋의 대안으로 데이터 탐색 및 시각화를 위한 데이터셋 제공.
scikit-learn : 머신러닝을 위한 라이브러리
lightgbm : LightGBM은 Microsoft에서 개발한 오픈 소스 기계 학습 라이브러리로, 대용량 데이터셋에서 빠른 속도와 높은 성능을 제공하는 것이 특징

주의

각 코드에 대한 설명은 별도로 하지 않습니다.

데이터 불러오기

import pandas as pd 
from palmerpenguins import load_penguins 

penguins = load_penguins()
penguins['ID'] = penguins.reset_index().index + 1
penguins.head()

(파이썬) 빅데이터 분석기사 실기 준비 - 제3유형

Tue, 20 Jun 2023 00:01:47 +0900

작업형 3유형 최종정리

작업형1 : 3문제 (30점), 데이터 전처리
작업형2 : 1문제 (40점), 분류/회귀 예측 모델링
작업형3 : 2문제 (30점), 가설 검정

라이브러리 확인

파이썬에서 가설검정을 위한 통계와 관련된 라이브러리는 크게 2가지이다.
- scipy : SciPy는 수치 계산, 최적화, 선형 대수, 신호 및 이미지 처리, 통계 분석 등과 같은 과학적 계산 작업을 수행하는 데 사용됨
- statsmodels : Statsmodels는 통계 분석과 추정을 위한 파이썬 라이브러리로, 선형 회귀, 로지스틱 회귀, 시계열 분석, 비모수적 추정 등 다양한 통계 모델을 지원함.
SciPy와 Statsmodels는 각각의 독립성과 기능을 가지고 있으며, 과학적 계산과 통계 분석을 위한 파이썬 생태계에서 함께 사용되는 보완적인 라이브러리임.

주의

여기에서는 각 검정의 구체적인 원리 설명은 하지 않는다.
코드 위주로만 확인을 하도록 한다.

One Sample T-Test

가설검정
- 귀무가설 : 붓꽃의 sepal_length의 평균은 5.5이다.
- 대립가설 : 붓꽃의 sepal_length의 평균은 5.5이 아니다.

import seaborn as sns
import pandas as pd

iris_df = sns.load_dataset("iris")
iris_df.head()

Python Pandas 날짜 데이터 다루기

Sat, 17 Jun 2023 00:01:47 +0900

개요

연도, 월, 주만 있는 컬럼을 날짜 데이터 타입으로 변경하려면 어떻게 해야할까?
약간의 트릭이 필요하다

데이터 생성

가상의 데이터를 생성한다.

import pandas as pd

data = [
    {"year": 2020, "month": 1, "week": 2, "company" : "A회사", "revenue_pct" : 49},
    {"year": 2020, "month": 1, "week": 2, "company" : "B회사", "revenue_pct" : 51},
    {"year": 2021, "month": 1, "week": 2, "company" : "A회사", "revenue_pct" : 37},
    {"year": 2021, "month": 1, "week": 2, "company" : "B회사", "revenue_pct" : 63},
    {"year": 2022, "month": 12, "week": 1, "company" : "A회사", "revenue_pct" : 70},
    {"year": 2022, "month": 12, "week": 1, "company" : "B회사", "revenue_pct" : 30},
]

df = pd.DataFrame(data)
df

ChatGPT 방식

chatGPT에서 알려준 방식으로 진행해본다.

df["date"] = pd.to_datetime(df["year"].astype(str) + df["week"].astype(str) + '1', format="%Y%W%w")
df

기대했던 것은 2022-12-1 일 방식인데, 2022-01-03이다.
만약, 전체데이터가 있다면, date 날짜가 중복될 수 있다.

수정된 방식

아래와 같이 수정하도록 한다.
- 두번째 라인 코드 7-6 은 일종의 특정 일자를 지정하는 것이다.

df["date"] = pd.to_datetime(df["year"].astype(str) + "-" + df["month"].astype(str))
df["date"] = df["date"] + pd.to_timedelta(df["week"] * 7 - 6, unit="D")
df

출간 기념, Streamlit으로 프로젝트 한방에 끝내기 with 파이썬(2023, Sara & Evan)

Thu, 01 Jun 2023 01:03:28 +0900

책을 출간하였습니다.

Streamlit이란

Streamlit은 데이터 분석가가 간단한 코드 몇줄로 빠르게 웹앱을 만들어 줄 수 있는 Python 라이브러리입니다.
- 웹사이트 : https://streamlit.io/

누가 읽어야 할까요?

데이터 분석가 : 웹개발은 모르지만 대시보드를 만들어야 하는 분
국비교육 수강중인 비전공자 : Java 웹개발로 머신러닝 플랫폼을 만들어야 하는 분
개별적인 포트폴리오가 필요한 취업준비생 : ML/DL 알고리즘 익히는 것도 어려운데, 웹개발은 언제 배우죠?

데모 페이지

기초문법 포함 2달이면 충분히 아래 데모 페이지와 같이 만들 수 있습니다.
- 데모 페이지 : https://dschloe-streamlit-book-seoul-app-w9me9j.streamlit.app/

Streamlit와 BigQuery 활용한 배포 (API)

Thu, 18 May 2023 10:30:30 +0900

사전학습

이 글을 읽기전에 한번 Streamlit 라이브러리를 활용한 배포 - BigQuery 사용 을 읽고 오기를 바란다.

실습 순서

서울시 부동산 실거래가를 API 크롤링으로 가져온다.
JSON 형태의 데이터를 pandas 데이터프레임으로 변환한다.
데이터프레임을 BigQuery에 전체 데이터를 저장한다.
저장된 데이터프레임을 BigQuery에서 일부 컬럼만 불러온다.

실습 1 - API 크롤링에서 빅쿼리로 데이터 저장

.streamlit/secrets.toml 을 열고 아래와 같이 설정한다.
seoul_api_key는 서울 열린데이터 광장을 의미한다.
gcp_service_account 아래 내용은 api key를 json 파일로 열면 확인할 수 있다.

# .streamlit/secrets.toml
[public_data_api]
seoul_api_key = 'your_api_key'

[gcp_service_account]
type = "service_account"
project_id = "your_project_id"
private_key_id = "your_private_key_id"
private_key = "your_private_key"
client_email = "your_client_email"
client_id = "your_client_id"
auth_uri = "https://accounts.google.com/o/oauth2/auth"
token_uri = "https://oauth2.googleapis.com/token"
auth_provider_x509_cert_url = "https://www.googleapis.com/oauth2/v1/certs"
client_x509_cert_url = "your_client_x509_cert_url"

utils.py를 생성하고 아래와 같이 설정을 저장한다.

import streamlit as st
from google.oauth2 import service_account

SERVICE_KEY = st.secrets.public_data_api.seoul_api_key

# Create API client.
credentials = service_account.Credentials.from_service_account_info(
    # Very Important Point
    st.secrets["gcp_service_account"]
)

[aptCrawling.py](http://aptCrawling.py) 를 아래와 같이 작성한다.

# -*- coding:utf-8 -*-
import requests
import pandas as pd

# Google Cloud
from google.cloud import bigquery
import pandas_gbq

# API Key Settings
from utils import credentials, SERVICE_KEY
client = bigquery.Client(credentials=credentials)

def aptCrawling(SERVICE_KEY):
    data = None
    for j in range(1,2):
        url = f'http://openapi.seoul.go.kr:8088/{SERVICE_KEY}/json/tbLnOpendataRtmsV/{1+((j-1)*1000)}/{j*1000}'
        print(url)
        req = requests.get(url)
        content = req.json()
        con = content['tbLnOpendataRtmsV']['row']
        result = pd.DataFrame(con)
        data = pd.concat([data, result])
    data = data.reset_index(drop=True)
    data['DEAL_YMD'] = pd.to_datetime(data['DEAL_YMD'], format=("%Y%m%d"))

    return data

def save2BQ(data):
    table_name = "seoul.realestate"
    project_id = "streamlit-dashboard-369600"

    # Save the DataFrame to BigQuery
    pandas_gbq.to_gbq(data,
                      table_name,
                      project_id=project_id, if_exists='replace')

if __name__ == "__main__":
    data = aptCrawling(SERVICE_KEY)
    save2BQ(data)

아래와 같이 실행해보자.

$ python aptCrawling.py
http://openapi.seoul.go.kr:8088/your_api_key/json/tbLnOpendataRtmsV/1/1000
100%|████████████████████████████████████████████████████████████| 1/1 [00:00<?, ?it/s]

이번에는 BigQuery 콘솔에서 확인해본다.

Kaggle Wandb API 설정

Wed, 17 May 2023 11:30:47 +0900

개요

Wandb에 접속 후, 활용해본다.

회원가입

회원가입을 진행한다.
사이트 : https://wandb.ai/site

여기에서 Github로 로그인을 진행한다.

Authorize wandb를 클릭한다.

Create your account 항목에 Full name과 회사명을 입력한다.

아래와 같이 지정했다.

교육 목적으로 선택했다.

팀 이름명을 지정한다.

추후에 설정한다.

API Key가 나타난다.

어딘가에 인증키를 저장해둔다. db3cce8abed215f7b3770979a0006861dbcfe4f2

추후 확인 시

User Settings을 클릭한다.

Scroll Down 하면 API 키값이 나타난다.

캐글 노트북 상단 메뉴 [Add-ones] - [Secrets]를 클릭한다.

Streamlit Matplotlib 한글폰트 적용 예제

Tue, 16 May 2023 00:01:47 +0900

Streamlit Matplotlib-Seaborn 한글폰트 적용

개요

배포 시, matplotlib & seaborn 한글 폰트 적용 하는 방법에 대해 알아본다.
나눔고딕 폰트를 적용해본다.

폰트 다운로드

사이트 : https://fonts.google.com/specimen/Nanum+Gothic

개발환경 세팅

git clone 명령어를 활용하여 프로젝트 repo를 다운로드 받는다.

가상환경을 설정한다.
- virtualenv venv 실행한다.
- source venv/Scripts/activate 실행하여 가상환경에 접속한다.

$ virtualenv venv
created virtual environment CPython3.9.13.final.0-64 in 606ms
  creator CPython3Windows(dest=C:\Users\YONSAI\Desktop\streamlit-korean-fonts\venv, clear=False, no_vcs_ignore=False, global=False)
  seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy, app_data_dir=C:\Users\YONSAI\AppData\Local\pypa\virtualenv)
    added seed packages: pip==23.1.2, setuptools==67.6.1, wheel==0.40.0
  activators BashActivator,BatchActivator,FishActivator,NushellActivator,PowerShellActivator,PythonActivator
$ source venv/Scripts/activate
(venv)
$

requirements.txt 파일에 다음 라이브러리만 설치한다.

streamlit
matplotlib
seaborn
pandas
numpy

폰트 폴더 설정

customFonts 폴더를 만들고 다운로드 받은 폴더를 추가한다.

R 4.2.3 설치 - Windows

Tue, 04 Apr 2023 18:38:15 +0900

R 프로그램 설치

싸이트 : https://www.r-project.org/
download R 클릭

0-Cloud 선택

각 OS에 맞는 버전 설치, 여기서는 Windows 선택

Windows의 경우 아래와 같이 나타난다.

Download R-4.2.3 for Windows 설치

다운로드 받은 설치 파일을 관리자 권한으로 실행한다.

언어는 한국어로 해도 상관없지만, 필자는 주로 영어로 선택해서 했기 때문에, 영어로 진행하도록 한다.

특별하게 주의 깊게 살펴서 해야 할 항목은 없기 때문에, Next 버튼을 순차적으로 클릭한다.

Google Clound & WSL2 Ubuntu 20.04 개발환경 설정

Sun, 26 Feb 2023 10:30:30 +0900

개요

GCP에서 개발환경을 설정하도록 한다.
Local PC에서 GCP로 접속을 하도록 한다.

사전준비

WSL2 Ubuntu 설치 과정은 여기에서 다루지 않는다.

개발환경 설치

Python3 설치한다. (본인에게 맞는 언어를 선택한다)

sudo apt update
sudo apt install -y python3 python3-pip
python3

Shell 재시작 후 설치 확인

다음 명령어를 통해 설치가 정상적으로 되었는지 확인한다.

$ exec -l $SHELL
$ gcloud version
Google Cloud SDK 419.0.0
alpha 2023.02.17
beta 2023.02.17
bq 2.0.85
bundled-python3-unix 3.9.16
core 2023.02.17
gcloud-crc32c 1.0.0
gsutil 5.20

시작하기

시작하려면 [gcloud init](https://cloud.google.com/sdk/gcloud/reference/init?hl=ko)을 실행합니다.

$ gcloud init
Welcome! This command will take you through the configuration of gcloud.

Your current configuration has been set to: [default]

You can skip diagnostics next time by using the following flag:
  gcloud init --skip-diagnostics

Network diagnostic detects and fixes local network connection issues.
Checking network connection...done.                                                                      
Reachability Check passed.
Network diagnostic passed (1/1 checks passed).

You must log in to continue. Would you like to log in (Y/n)?  Y

Go to the following link in your browser:

    https://accounts.google.com/o/oauth2/auth?response_type=...

Enter authorization code: your_code
You are logged in as: [your_email@gmail.com].

Pick cloud project to use: 
 [1] Enter a project ID
 ...
 [2] Create a new project
Please enter numeric choice or text value (must exactly match list item):  

Your current project has been set to: [your_project_name].

...

Some things to try next:

* Run `gcloud --help` to see the Cloud Platform services you can interact with. And run `gcloud help COMMAND` to get help on any gcloud command.
* Run `gcloud topic --help` to learn about advanced features of the SDK like arg files and output formatting
* Run `gcloud cheat-sheet` to see a roster of go-to `gcloud` commands.

WM 설정

아래 화면에서 VM을 선택한다.

Matplotlib 한글폰트 적용 예제 - Windows 10

Wed, 22 Feb 2023 00:01:47 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

개요

한글폰트를 다운로드 받아서 matplotlib에 적용하는 코드를 작성해본다.
주요 코드를 기억해서 업무에 활용해보도록 한다.

폰트 다운로드

일반적으로 자주 사용하는 폰트를 다운로드 받는다.
- 참고 : https://www.kopus.org/biz-electronic-font2/

스크롤을 내리면 TTF 다운로드 버튼을 클릭한다.

폰트 설치

다운로드 받은 폰트를 압축을 푼다.

가계금융복지조사 데이터 수집

Sat, 18 Feb 2023 00:01:47 +0900

개요

통계청(https://mdis.kostat.go.kr/) 에서는 마이크로데이터를 제공하고 있음
해당 사이트에서 회원가입은 필수로 진행해야 한다.

MDIS 다운로드 서비스 이용

2022년 기준 가계금융복지조사 데이터를 다운로드 받는다.
다운로드 서비스/소득소비자산/가계금융복지조사/가구마스터(제공)/2022년도를 아래와 같이 순차적으로 클릭한다.

다운로드받을 데이터의 형태와 해당 데이터를 입수할 때 필요한 ‘통계 툴 읽기 스크립트’를 선택한다.
Python 스크립트는 제공하지 않아서, R로 선택을 한다.

위 그림에서 마이페이지를 클릭한다.

Docker Streamlit Sample

Wed, 15 Feb 2023 00:01:47 +0900

개요

도커를 활용하여 Streamlit 배포를 진행해본다.
Dockerfile의 의미에 대해 이해한다.

Dockerfile

Docker 이미지를 빌드하기 위한 일련의 명령어를 포함하는 텍스트 파일
컨테이너에서 애플리케이션이 실행될 때 필요한 환경과 종속성을 정의하는 방법을 제공
패키지 설치, 파일 복사 및 환경 변수 설정 등의 지시어가 포함

사전준비

github에 sample 프로젝트를 올려둔다.
- 예제 : https://github.com/streamlit/streamlit-example
필자는 독립적으로 github repository를 작성했다.

소스코드 예제

소스코드는 크게 아래와 같이 작성했다.
먼저 app.py는 아래와 같다.

import numpy as np 
import pandas as pd 
import matplotlib 
import sklearn 
import scipy
import plotly
import streamlit as st

def main():
    st.write(np.__version__)
    st.write(pd.__version__)
    st.write(matplotlib.__version__)
    st.write(sklearn.__version__)
    st.write(scipy.__version__)
    st.write(plotly.__version__)

if __name__ == "__main__":
    main()

그 다음은 requirements.txt 파일을 작성한다.

streamlit
numpy
scipy
pandas
matplotlib
plotly
scikit-learn

작성된 코드가 잘 실행되는지 로컬호스트에서 확인을 한다.

$ streamlit run app.py 

  You can now view your Streamlit app in your browser.

  Local URL: http://localhost:8501
  Network URL: http://192.168.0.49:8501

Docker 기본 문법

Tue, 14 Feb 2023 00:01:47 +0900

무작정 도커 시작하기

docker에 Ubuntu를 설치하고 실행해본다.
현재 파일 목록들을 살펴본다.
빠져 나올 때는 EXIT를 실행한다.

C:\Users\human>docker run -it ubuntu:18.04
Unable to find image 'ubuntu:18.04' locally
18.04: Pulling from library/ubuntu
72d9f18d70f3: Pull complete
Digest: sha256:a3765b4d74747b5e9bdd03205b3fbc4fa19a02781c185f97f24c8f4f84ed7bbf
Status: Downloaded newer image for ubuntu:18.04
root@7a7a49e2d83e:/# ls
bin  boot  dev  etc  home  lib  lib64  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var
root@7a7a49e2d83e:/#

현재 도커 컨테이너 리스트를 확인한다.

$ docker ps -a
CONTAINER ID   IMAGE          COMMAND       CREATED        STATUS         PORTS     NAMES
7a7a49e2d83e   ubuntu:18.04   "/bin/bash"   18 hours ago   Up 5 minutes             practical_euler

STATUS가 Docker 컨테이너 재진입

docker exec -it 7a7a49e2d83e /bin/bash

현재 운영중인 도커를 멈추고 싶다면 아래와 같이 작성한다.

docker stop 7a7a49e2d83e

재활성화 하고 싶다면 아래와 같이 작업한다.

docker start 7a7a49e2d83e

컨테이너 이미지화

해당되는 도커를 이미지화 해서 배포하도록 한다.
우선 docker login을 진행한다.
- 참조 : https://docs.docker.com/engine/reference/commandline/login/

$ docker login -u your_id
Password:
Login Succeeded
Authenticating with existing credentials...
Login Succeeded

Logging in with your password grants your terminal complete access to your account.
For better security, log in with a limited-privilege personal access token. Learn more at https://docs.docker.com/go/access-tokens/

기존 컨테이너 ID 7a7a49e2d83e를 이미지로 변환한다.
- 새로운 Repository 이름은 mlearn 이라고 한다.
- 태그 이름은 latest 라고 한다.

docker commit 7a7a49e2d83e your_id/mlearn:latest

도커 이미지가 만들어졌는지 확인한다.
ubuntu 이미지를 다운받았기 때문에 size가 비슷한 것을 확인할 수 있다.

$ docker images
REPOSITORY        TAG       IMAGE ID       CREATED          SIZE
your_id/mlearn    latest    b26bdf7b071e   29 minutes ago   63.1MB
ubuntu            18.04     5d2df19066ac   2 weeks ago      63.1MB
hello-world       latest    feb5d9fea6a5   16 months ago    13.3kB

도커 이미지를 push 하도록 한다.

docker push your_id/mlearn:latest

호스트 OS의 홈 폴더 마운트하기

호스트 OS의 홈 폴더를 마운트 하기 위해서는 컨테이너 실행 시 -v 옵션을 지정한다.
- : 기준으로 왼쪽은 로컬 PC, 오른쪽은 가상환경 내 경로임을 잊지 말자.

$ docker run -it -v C:\Users\human\Desktop\dockerhome:/home mlearn

home 폴더에서 temp 폴더를 생성하면 아래와 같이 폴더가 만들어지는 것을 확인한다.

root@5c950356cfc3:/# cd home/
root@5c950356cfc3:/home# mkdir temp

Git 배치파일 Windows

Fri, 10 Feb 2023 00:01:47 +0900

개요

배치파일로 생성 후, 작업 스케줄러를 활용하여 자동으로 커밋을 실행하는 코드를 작성한다.
다른 예제도 같이 살펴본다.
- 윈도우 배치 파일 - 파이썬 가상환경 적용

배치파일 생성하기

프로젝트 폴더에 배치파일을 실행한다.
파일명은 submit.bat 로 지정했다.

set root=C:\Users\human\Desktop\streamlit-predictions
call git add .
call git commit -m "updated from batch file"
call git push

배치파일 실행하기

우선 해당 폴더에서 submit.bat 파일을 더블클릭한다.

더블 클릭하면 자동으로 배치파일이 실행되면서 해당 명령어들이 순차적으로 돌아가는 것을 확인할 수 있다.

Streamlit & ChatGPT API 배포 예제

Thu, 09 Feb 2023 01:01:47 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

개요

ChatGPT API 배포 예제 흐름도를 보여주도록 한다.
Streamlit 회원가입, OpenAI 회원가입은 완료했다는 가정하에 본 블로그를 읽기 바란다.
- Streamlit : https://share.streamlit.io/
- OpenAI : https://openai.com/api/

API Key 생성

아래 화면에서 View API Keys를 클릭한다.

아래 화면에서 Create new secret key 버튼을 클릭한다.

지도시각화 예제 - QGIS를 활용한 geojson 파일 만들기

Sun, 05 Feb 2023 00:01:47 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

Installation

Map 시각화를 위한 주요 라이브러리를 설치한다.

pip install numpy pandas matplotlib seaborn jupyterlab geopandas pydeck

Enabling pydeck for Jupyter

Jupyter는 더 복잡한 서버/클라이언트 상호 작용을 허용할 수 있다.
사용자 또는 시스템 관리자가 주피터에서 사용할 수 있도록 pydeck를 사용하도록 설정해야 한다.
바이너리 데이터 전송, 데이터 선택 및 시간 경과에 따른 데이터 업데이트는 파이덱이 주피터 환경에서 사용 가능한 경우에만 대화식으로 작동할 수 있다.
Jupyter 노트북의 Pydeck를 활성화하려면:

$ jupyter nbextension install --sys-prefix --symlink --overwrite --py pydeckInstalling your_url -> pydeckRemoving: your_urlSymlinking:your_url -> your_url- Validating: ok    To initialize this nbextension in the browser every time the notebook (or other app) loads:          jupyter nbextension enable pydeck --py --sys-prefix

jupyter nbextension enable --sys-prefix --py pydeck
Enabling notebook extension pydeck/extensionRequires...
      - Validating: ok

법정동 병합 데이터 만들기

Python에서 법정동 병합 데이터 만드는 방법을 숙지하도록 한다.
지도 데이터를 다운로드 받는다.
- 참조 : http://www.gisdeveloper.co.kr/?p=2332
지도 경계 작업을 수행할 QGIS 파일을 다운로드 받는다.
- 다운로드 : https://qgis.org/ko/site/
참조 : https://mjs1995.tistory.com/186

QGIS 설치

설치는 다음과 같다.

Streamlit 라이브러리를 활용한 배포 예제 - sqlite

Wed, 01 Feb 2023 00:01:47 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

개요

간단한 프로젝트라도 DB와 연동하는 작업은 매우 중요하다.
클라우드 DB를 사용하기 위해서는 클라우드 회원가입 등 번거로운 절차를 거쳐야 하며, 또한 비용도 추가될 수도 있다.
SQLite를 사용하면 간단한 DB 작업도 진행할 수 있다.
Streamlit + SQLite 연동 작업을 간단히 하도록 해본다.

SQLite

데이터 핸들링을 하기 위해서는 Python 기초 문법, Pandas 라이브러리를 배워야 한다.
Pandas는 본 블로그에서 CSV 파일을 읽고 저장을 하는데 사용을 하게 된다.
SQLite는 입문자가 시작할 수 있는 가장 간단한 DB이다.
개별 PC에 로컬 파일을 생성하며, 이 파일에 대해 PostgresDB와 거의 동일한 쿼리를 실행할 수 있습니다.
웹싸이트 : https://sqlite.org/index.html

Streamlit

Python으로 웹을 가장 빠르게 만드는 방법은 Streamlit 이다.
다중 페이지 등을 제작할 수 있는 방법론이 나오기도 했다.
- ****Create a multipage app
가장 좋은 장점은 SQLite를 사용할 수 있다는 점이다.

Streamlit Code

우선 전체 코드를 작성하도록 한다.

import sqlite3
import streamlit as st
import pandas as pd
import os

def create_connection(db_file):
    """ create a database connection to the SQLite database
        specified by the db_file
    :param db_file: database file
    :return: Connection object or None
    """
    conn = None
    try:
        conn = sqlite3.connect(db_file)
    except Exception as e:
        st.write(e)

    return conn

def create_database():
    st.markdown("# Create Database")

    st.write("""A database in SQLite is just a file on same server. 
    By convention their names always end in .db""")

    db_filename = st.text_input("DB Filename")
    create_db = st.button('Create Database')

    if create_db:
        if db_filename.endswith('.db'):
            conn = create_connection(db_filename)
            st.write(conn) # success message?
        else: 
            st.write('DB filename must end with .db, please retry.')

def upload_data():
    st.markdown("# Upload Data")
    # https://discuss.streamlit.io/t/uploading-csv-and-excel-files/10866/2
    sqlite_dbs = [file for file in os.listdir('.') if file.endswith('.db')]
    db_filename = st.selectbox('DB Filename', sqlite_dbs)
    table_name = st.text_input('Table Name to Insert')
    conn = create_connection(db_filename)
    uploaded_file = st.file_uploader('Choose a file')
    if uploaded_file is not None:
        #read csv
        try:
            df = pd.read_csv(uploaded_file)
            df.to_sql(name=table_name, con=conn)
            st.write('Data uploaded successfully. These are the first 5 rows.')
            st.dataframe(df.head(5))

        except Exception as e:
            st.write(e)

def run_query():
    st.markdown("# Run Query")
    sqlite_dbs = [file for file in os.listdir('.') if file.endswith('.db')]
    db_filename = st.selectbox('DB Filename', sqlite_dbs)

    query = st.text_area("SQL Query", height=100)
    conn = create_connection(db_filename)

    submitted = st.button('Run Query')

    if submitted:
        try:
            query = conn.execute(query)
            cols = [column[0] for column in query.description]
            results_df= pd.DataFrame.from_records(
                data = query.fetchall(), 
                columns = cols
            )
            st.dataframe(results_df)
        except Exception as e:
            st.write(e)

    st.sidebar.markdown("# Run Query")

page_names_to_funcs = {
    "Create Database": create_database,
    "Upload Data": upload_data,
    "Run Query": run_query,
}

selected_page = st.sidebar.selectbox("Select a page", page_names_to_funcs.keys())
page_names_to_funcs[selected_page]()

코드 설명 1 - Python Packages

코드는 다음과 같다.

import sqlite3
import streamlit as st
import pandas as pd
import os

sqlite3와 os는 Python의 내장 패키지이며 별도로 설치할 필요가 없다.
pandas와 streamlit 라이브러리는 pip install ~ 로 설치를 해야 한다.

코드 설명 2 - create_connection(db_file)

코드는 다음과 같다.

def create_connection(db_file):
    """ create a database connection to the SQLite database specified by the db_file
    :param db_file: database file
    :return: Connection object or None
    """
    conn = None
    try:
        conn = sqlite3.connect(db_file)
    except Exception as e:
        st.write(e)

    return conn

해당 함수의 역할은 db_file 파라미터 값을 받으면 sqlite3.connect 연동이 되도록 설계 한다.
만약, 해당 DB file이 정상적으로 연결이 되면 conn 저장이 되도록 한다.
만약, 없다면 예외처리로 진행한다.

코드 설명 3 - create_database ()

코드는 다음과 같다.

def create_database():
    st.markdown("# Create Database")

    st.write("""A database in SQLite is just a file on same server. 
    By convention their names always end in .db""")

    db_filename = st.text_input("DB Filename")
    create_db = st.button('Create Database')

    if create_db:
        if db_filename.endswith('.db'):
            conn = create_connection(db_filename)
            st.write(conn) # success message?
        else: 
            st.write('DB filename must end with .db, please retry.')

Create Database 버튼을 클릭하면
- DB명이 정상적으로 db명.db 처럼 들어오게 되면 database가 생성이 된다.
- 만약, 잘못된 이름이 입력되면 에러 메시지를 내보내어 다시 입력하도록 한다.

코드 설명 4 - update_data()

코드는 다음과 같다.

def upload_data():
    st.markdown("# Upload Data")
    # https://discuss.streamlit.io/t/uploading-csv-and-excel-files/10866/2
    sqlite_dbs = [file for file in os.listdir('.') if file.endswith('.db')]
    db_filename = st.selectbox('DB Filename', sqlite_dbs)
    table_name = st.text_input('Table Name to Insert')
    conn = create_connection(db_filename)
    uploaded_file = st.file_uploader('Choose a file')
    if uploaded_file is not None:
        #read csv
        try:
            df = pd.read_csv(uploaded_file)
            df.to_sql(name=table_name, con=conn)
            st.write('Data uploaded successfully. These are the first 5 rows.')
            st.dataframe(df.head(5))

        except Exception as e:
            st.write(e)

위 코드는 csv 파일을 업로드하여 특정 DB에 테이블로 추가하는 코드이다.
sqlite_dbs 객체는 저장된 .db 종류를 보여준다. 즉, 데이터베이스를 지정하는 코드라고 보면 된다.
table_name 객체는 사용자가 직접 테이블 이름을 입력한다.
uploaded_file 객체는 파일을 업로더 하도록 도와준다.
if 조건문은 정상적으로 파일이 업로드가 되면, pandas 데이터 프레임으로 읽고, table로 해당 객체를 저장하는 명령어를 의미한다.

코드 설명 5 - run_query()

코드는 다음과 같다.

def run_query():
    st.markdown("# Run Query")
    sqlite_dbs = [file for file in os.listdir('.') if file.endswith('.db')]
    db_filename = st.selectbox('DB Filename', sqlite_dbs)

    query = st.text_area("SQL Query", height=100)
    conn = create_connection(db_filename)

    submitted = st.button('Run Query')

    if submitted:
        try:
            query = conn.execute(query)
            cols = [column[0] for column in query.description]
            results_df= pd.DataFrame.from_records(
                data = query.fetchall(), 
                columns = cols
            )
            st.dataframe(results_df)
        except Exception as e:
            st.write(e)

    st.sidebar.markdown("# Run Query")

위 코드는 DB명을 지정 후, 쿼리를 작성하도록 하는 것이다.
Run Query 버튼을 클릭하면, 해당 쿼리를 실행한다.
이 때, 실행 결과는 크게 세가지로 나눠서 진행이 된다.
- 쿼리 실행 시, cols 객체는 결과 테이블의 컬럼명을 리스트로 저장한다.
- 쿼리 실행 시, query.fetchall() 각 데이터를 리스트로 저장한다.
각 쿼리는 from_records를 통해서 데이터 프레임으로 저장된다.
- 참조 : https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.from_records.html

코드 설명 6 - 사이드바

코드는 다음과 같다.

def main():
    page_names_to_funcs = {
        "Create Database": create_database,
        "Upload Data": upload_data,
        "Run Query": run_query,
    }

    selected_page = st.sidebar.selectbox("Select a page", page_names_to_funcs.keys())
    page_names_to_funcs[selected_page]()

if __name__ == '__main__':
    main()

page_names_to_funcs 딕셔너리 value 값에 저장된 것은 지정한 사용자 정의 함수이다.

시연 이미지

Create Database 화면이다.

서울시 부동산 실거래가 정보 API 크롤링 2 - 크롤링편 (XML)

Tue, 31 Jan 2023 19:01:47 +0900

개요

Open API를 통해서 부동산 실거래가 정보를 pandas 데이터프레임으로 변환하는 코드를 구현한다.

요청인자 확인

샘플 URL은 크게 2가지를 제공한다.
- 서울시 부동산 실거래가 정보
  - http://openapi.seoul.go.kr:8088/(인증키)/xml/tbLnOpendataRtmsV/1/5/
- 서울시 부동산 실거래가 정보(마곡일성트루엘플래닛)
  - http://openapi.seoul.go.kr:8088/(인증키)/xml/tbLnOpendataRtmsV/1/5/2022/11500/강서구/10500/일반/0758/0002/마곡일성트루엘플래닛/오피스텔
출력 예제는 다음과 같다.

<?xml version="1.0" encoding="UTF-8"?>
<tbLnOpendataRtmsV>
<list_total_count>2639192</list_total_count>
<RESULT>
<CODE>INFO-000</CODE>
<MESSAGE>정상 처리되었습니다</MESSAGE>
</RESULT>
<row>
<ACC_YEAR>2023</ACC_YEAR>
<SGG_CD>11545</SGG_CD>
<SGG_NM>금천구</SGG_NM>
<BJDONG_CD>10100</BJDONG_CD>
<BJDONG_NM>가산동</BJDONG_NM>
<LAND_GBN>1</LAND_GBN>
<LAND_GBN_NM>대지</LAND_GBN_NM>
<BONBEON>0776</BONBEON>
<BUBEON>0000</BUBEON>
<BLDG_NM>가산대명벨리온</BLDG_NM>
<DEAL_YMD>20230127</DEAL_YMD>
<OBJ_AMT>12300</OBJ_AMT>
<BLDG_AREA>16.28</BLDG_AREA>
<TOT_AREA>25.630000</TOT_AREA>
<FLOOR>8</FLOOR>
<RIGHT_GBN/>
<CNTL_YMD/>
<BUILD_YEAR>2017</BUILD_YEAR>
<HOUSE_TYPE>오피스텔</HOUSE_TYPE>
<REQ_GBN>중개거래</REQ_GBN>
<RDEALER_LAWDNM>서울 금천구</RDEALER_LAWDNM>
</row>
<row>
<ACC_YEAR>2023</ACC_YEAR>
<SGG_CD>11500</SGG_CD>
<SGG_NM>강서구</SGG_NM>
<BJDONG_CD>10500</BJDONG_CD>
<BJDONG_NM>마곡동</BJDONG_NM>
<LAND_GBN>1</LAND_GBN>
<LAND_GBN_NM>대지</LAND_GBN_NM>
<BONBEON>0793</BONBEON>
<BUBEON>0000</BUBEON>
<BLDG_NM>유림트윈파크</BLDG_NM>
<DEAL_YMD>20230127</DEAL_YMD>
<OBJ_AMT>13900</OBJ_AMT>
<BLDG_AREA>19.99</BLDG_AREA>
<TOT_AREA>30.300000</TOT_AREA>
<FLOOR>6</FLOOR>
<RIGHT_GBN/>
<CNTL_YMD/>
<BUILD_YEAR>2015</BUILD_YEAR>
<HOUSE_TYPE>오피스텔</HOUSE_TYPE>
<REQ_GBN>중개거래</REQ_GBN>
<RDEALER_LAWDNM>서울 강서구</RDEALER_LAWDNM>
</row>
<row>
<ACC_YEAR>2023</ACC_YEAR>
<SGG_CD>11500</SGG_CD>
<SGG_NM>강서구</SGG_NM>
<BJDONG_CD>10300</BJDONG_CD>
<BJDONG_NM>화곡동</BJDONG_NM>
<LAND_GBN>1</LAND_GBN>
<LAND_GBN_NM>대지</LAND_GBN_NM>
<BONBEON>1115</BONBEON>
<BUBEON>0034</BUBEON>
<BLDG_NM>casagio</BLDG_NM>
<DEAL_YMD>20230127</DEAL_YMD>
<OBJ_AMT>22100</OBJ_AMT>
<BLDG_AREA>29.98</BLDG_AREA>
<TOT_AREA>21.430000</TOT_AREA>
<FLOOR>2</FLOOR>
<RIGHT_GBN/>
<CNTL_YMD/>
<BUILD_YEAR>2019</BUILD_YEAR>
<HOUSE_TYPE>연립다세대</HOUSE_TYPE>
<REQ_GBN>직거래</REQ_GBN>
<RDEALER_LAWDNM/>
</row>
<row>
<ACC_YEAR>2023</ACC_YEAR>
<SGG_CD>11320</SGG_CD>
<SGG_NM>도봉구</SGG_NM>
<BJDONG_CD>10600</BJDONG_CD>
<BJDONG_NM>방학동</BJDONG_NM>
<LAND_GBN>1</LAND_GBN>
<LAND_GBN_NM>대지</LAND_GBN_NM>
<BONBEON>0632</BONBEON>
<BUBEON>0023</BUBEON>
<BLDG_NM>(632-23)</BLDG_NM>
<DEAL_YMD>20230126</DEAL_YMD>
<OBJ_AMT>12500</OBJ_AMT>
<BLDG_AREA>41.58</BLDG_AREA>
<TOT_AREA>30.760000</TOT_AREA>
<FLOOR>1</FLOOR>
<RIGHT_GBN/>
<CNTL_YMD/>
<BUILD_YEAR>1986</BUILD_YEAR>
<HOUSE_TYPE>연립다세대</HOUSE_TYPE>
<REQ_GBN>직거래</REQ_GBN>
<RDEALER_LAWDNM/>
</row>
<row>
<ACC_YEAR>2023</ACC_YEAR>
<SGG_CD>11410</SGG_CD>
<SGG_NM>서대문구</SGG_NM>
<BJDONG_CD>11200</BJDONG_CD>
<BJDONG_NM>대현동</BJDONG_NM>
<LAND_GBN>1</LAND_GBN>
<LAND_GBN_NM>대지</LAND_GBN_NM>
<BONBEON>0101</BONBEON>
<BUBEON>0007</BUBEON>
<BLDG_NM>혜우</BLDG_NM>
<DEAL_YMD>20230126</DEAL_YMD>
<OBJ_AMT>80000</OBJ_AMT>
<BLDG_AREA>129.27</BLDG_AREA>
<TOT_AREA>0.000000</TOT_AREA>
<FLOOR>10</FLOOR>
<RIGHT_GBN/>
<CNTL_YMD/>
<BUILD_YEAR>1996</BUILD_YEAR>
<HOUSE_TYPE>아파트</HOUSE_TYPE>
<REQ_GBN>직거래</REQ_GBN>
<RDEALER_LAWDNM/>
</row>
</tbLnOpendataRtmsV>

각 요청인자에 대한 정보는 아래 싸이트에서 확인이 가능하다.
- 참조 : https://data.seoul.go.kr/dataList/OA-21275/S/1/datasetView.do

서울시 부동산 실거래가 정보 API 크롤링 1 - 인증키 발급편

Mon, 30 Jan 2023 10:15:47 +0900

회원가입

회원가입 : 회원가입 | 서울특별시청 (seoul.go.kr)

모두 동의합니다를 선택한다.

본인인증 절차를 거친다.

회원정보를 입력한다.

부가서비스 신청은 옵션이기 때문에 여기서 별도로 다루지는 않겠다.

회원가입이 완료가 되었다.

서울 열린데이터 광장 로그인

이제 데이터 수집을 위해, 해당 사이트에 로그인을 진행한다.

찾고 싶은 데이터를 입력해주세요 부동산을 입력하고 검색을 진행한다.

여기에서 서울시 부동산 실거래가 정보 탭을 클릭한다.

하단에 인증키 신청을 클릭한다.

작성이 끝나면 바로 API 발급이 부여가 된다.

OpenCV 개발환경 윈도우 버전

Thu, 19 Jan 2023 10:15:47 +0900

개요

Windows에서 Opencv 개발환경을 구축한다.
아나콘다를 설치하지 않고 구축한다.

사전 준비

파이썬 설치는 이미 진행된 것으로 가정한다.
- 설치 웹사이트 : https://www.python.org/
또한 가상환경을 이미 설치한 것으로 가정한다.

주요 설치 명령어

opencv-python은 OpenCV의 메인 모듈을 포함하고, opencv-contrib-python은 메인 모듈과 Extras 모듈을 포함한다.
- 설치 시, NumPy는 자동으로 설치 된다.
matplotlib 라이브러리는 파이썬 기본 시각화 라이브러리이다.
pafy 라이브러리는 Youtube의 메타 데이터를 수집/검색하거나 다운로드 할 수 있도록 도와줌
youtube_dl 라이브러리는 터미널에서 사용 가능한 라이브러리이다.
pygame은 파이썬에서 제공하는 게임 라이브러리이다.

pip install opencv-contrib-python
pip install matplotlib
pip install pafy youtube_dl pygame

그런데, python 3.11.* 버전에서는 pygame이 설치가 안될 수 있다. 이럴 경우 downgrade를 통해 설치를 진행한다.

pip install pygame --pre

테스트

먼저 opencv 라이브러리가 잘 작동하는지 테스트 한다.

이미지 출력

먼저 opencv 라이브러리를 활용하여 아래 코드를 실행한다.

import cv2
imgFile = 'RGB_paint.png'
img = cv2.imread(imgFile)

cv2.imshow('image', img)
cv2.waitKey()
cv2.destroyAllWindows()

GROUP BY 1의 의미와 사용법 예제

Thu, 22 Dec 2022 14:40:30 +0900

개요

GROUP BY 1의 구체적인 의미에 대해 파악을 한다.

데이터 개요

주어진 데이터는 아래와 같다.
이 데이터는 미국의 과거 및 현재 국회의원 데이터셋을 사용한다.
- 참조 : https://github.com/unitedstates/congress-legislators

SELECT * FROM legislators_terms;

쿼리 예제

다음 쿼리는 리텐션을 구하는 쿼리를 작성하기 위해 작성했다.
먼저, 각 의원이 첫 임기를 시작한 날짜를 first_term으로 정의한다.

SELECT 
	id_bioguide
	, MIN(term_start) AS first_term
FROM legislators_terms
GROUP BY 1;

GROUP BY 1 대신에 GROUP BY id_bioguide로 변경하여 코드를 작성해본다.
당연한 말이지만, 결과는 동일하다.

SELECT 
	id_bioguide
	, MIN(term_start) AS first_term
FROM legislators_terms
GROUP BY id_bioguide;

Streamlit 라이브러리를 활용한 배포 - BigQuery 사용

Fri, 02 Dec 2022 15:15:47 +0900

개요

Streamlit 라이브러리와 BigQuery를 사용하여 배포를 진행한다.
GCP 클라우드 프로젝트 설정 과정은 생략한다.

BigQuery API 사용설정

Project API에서 ENABLE APIS AND SERVICES 버튼을 클릭한다.

빅쿼리 API를 탐색한다.
- 키워드명 : BigQuery API

manage 버튼을 클릭한다.

인증키를 다운로드 받도록 한다. (CREATE CREDENTIALS클릭)

아래와 같이 지정 후, 스크롤을 내려서 NEXT 버튼을 클릭한다.

임의의 Service account ID 작성 후, CREATE AND CONTINUE 버튼을 클릭한다.

프로젝트 권한을 부여 후, CONTINUE 버튼을 클릭한다.

Streamlit 라이브러리를 활용한 배포 예제

Tue, 29 Nov 2022 09:00:47 +0900

사전준비

배포를 하기 위해서는 필수로 진행해야 할 사전준비가 필요하다.
Git & Github 설치 과정은 생략한다.

Step 01 - Streamlit 회원가입

https://share.streamlit.io/signup
아래 이미지에서 Continue with Github 와 같이 회원가입을 진행한다.

Set up your account를 작성한다. 작성이 끝나면 다음과 같은 화면이 나오면 정상적으로 등록이 된 것이다.

Step 02 - Github 레포 설정

Gitub 레포를 설정한다.
이 때, 주의해야 할 것은 Public으로 설정을 해야한다.
- .gitignore 파일도 Setting 하는 것이 좋다.

Google Analytics 4 설치 - Hugo 깃허브

Sun, 27 Nov 2022 01:15:47 +0900

개요

Google Analytics 4 설치 과정을 정리하였다.

사전준비

본 글에서는 Google Analytics 4 관련 설명은 생략한다.
어느정도 관련 도구를 이해한다는 전제 조건에서 글을 정리한다.

단계별 설치 과정

단계별로 설치 과정을 알아보자.

(1) GA4 추적 ID 가져오기

Google Analytics 4 에서 추적 코드를 받는다.
추적 코드는 Admin - Data Streams에서 확인이 가능하다.

Add stream 에서 Hugo Website 주소를 입력한 후 설정을 하면 된다.
그럼 MEASUREMENT ID 확인이 가능하다.
- G-XXXXXXX 시작하는 ID만 있으면 충분하다.
그 외 나머지 GA4 설정은 관련 자료를 참고해서 설정한다.

윈도우 배치 파일 - 파이썬 가상환경 적용

Mon, 21 Nov 2022 01:15:47 +0900

개요

Python 가상환경을 만든 후, 자동으로 배치 파일이 돌아가도록 하는 코드를 작성하도록 한다.

Step 01 - 라이브러리 설치

가상환경을 만든 후, pandas 라이브러리를 설치하도록 한다.

$ virtualenv venv
$ ./venv/Scripts/activate

만약 에러가 아래와 에러가 생길 경우,

$ .\venv\Scripts\activate
.\venv\Scripts\activate : 이 시스템에서 스크립트를 실
행할 수 없으므로 C:\Users\h\Desktop\python_batch\venv\
Scripts\activate.ps1 파일을 로드할 수 없습니다. 자세한
 내용은 about_Execution_Policies(https://go.microsoft.
com/fwlink/?LinkID=135170)를 참조하십시오.
위치 줄:1 문자:1
+ .\venv\Scripts\activate
+ ~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : 보안 오류: (:) [], PSSec
uri    tyException
    + FullyQualifiedErrorId : UnauthorizedAccess

PowerShell을 관리자 권한으로 실행 후 아래 코드를 입력한다. (Y 입력)

PS C:\WINDOWS\system32> Set-ExecutionPolicy Unrestricted

실행 규칙 변경
실행 정책은 신뢰하지 않는 스크립트로부터 사용자를 보호합니다. 실행 정책을 변경하면 about_Execution_Policies 도움말
항목(https://go.microsoft.com/fwlink/?LinkID=135170)에 설명된 보안 위험에 노출될 수 있습니다. 실행 정책을
변경하시겠습니까?
[Y] 예(Y)  [A] 모두 예(A)  [N] 아니요(N)  [L] 모두 아니요(L)  [S] 일시 중단(S)  [?] 도움말 (기본값은 "N"): Y

Step 02 - app.py 작성

app.py는 아래와 같이 작성한다.
- iris.csv 파일은 검색하면 금방 나오기 때문에, 아무거나 다운로드 받는다.

import pandas as pd 

def main():
    print(pd.__version__)
    df = pd.read_csv("data/iris.csv")
    print(df)

if __name__ == "__main__":
    main()

Step 03 - myproject.cmd 파일 작성

아래와 같이 batchFile.bat 파일을 작성한다.

call C:\Users\h\Desktop\python_batch\venv\Scripts\activate
@cd C:\Users\h\Desktop\python_batch
python app.py
pause

Step 04 - 환경변수 설정

경로는 프로젝트에서 venv 까지 지정하면 된다.
이 부분은 각자 프로젝트가 다르기 때문에 본인 프로젝트 경로를 지정해야 한다.
- C:\Users\h\Desktop\python_batch\venv

Heroku를 활용한 카카오챗봇 배포 - DB조회편

Mon, 14 Nov 2022 15:15:47 +0900

읽기 전 공지

본 글은 2022년 11월 28일까지만 유효합니다. 무료 버전이 사라지기 때문에, 앞으로 어떻게 될지는 현재 글 쓰는 시점에서는 모릅니다. 이 부분에 주의해서 참고 하시기를 바랍니다.

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

[비전공자 대환영] 캐글 데이터를 활용한 Optuna with MLFlow - 캐글다지기
- 머신러닝 하이퍼파라미터 튜닝 등을 배우고 싶다면 다음 강의를 참고하세요.

Heroku를 활용한 카카오챗봇 배포 - 응용편

Thu, 10 Nov 2022 15:15:47 +0900

읽기 전 공지

본 글은 2022년 11월 28일까지만 유효합니다. 무료 버전이 사라지기 때문에, 앞으로 어떻게 될지는 현재 글 쓰는 시점에서는 모릅니다. 이 부분에 주의해서 참고 하시기를 바랍니다.

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

[비전공자 대환영] 캐글 데이터를 활용한 Optuna with MLFlow - 캐글다지기
- 머신러닝 하이퍼파라미터 튜닝 등을 배우고 싶다면 다음 강의를 참고하세요.

Heroku를 활용한 카카오챗봇 배포 - 인사말편

Thu, 10 Nov 2022 11:15:47 +0900

읽기 전 공지

본 글은 2022년 11월 28일까지만 유효합니다. 무료 버전이 사라지기 때문에, 앞으로 어떻게 될지는 현재 글 쓰는 시점에서는 모릅니다. 이 부분에 주의해서 참고 하시기를 바랍니다.

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

[비전공자 대환영] 캐글 데이터를 활용한 Optuna with MLFlow - 캐글다지기
- 머신러닝 하이퍼파라미터 튜닝 등을 배우고 싶다면 다음 강의를 참고하세요.

Heroku를 활용한 배포 - DB 연결편

Wed, 09 Nov 2022 01:15:47 +0900

읽기 전 공지

본 글은 2022년 11월 28일까지만 유효합니다. 무료 버전이 사라지기 때문에, 앞으로 어떻게 될지는 현재 글 쓰는 시점에서는 모릅니다. 이 부분에 주의해서 참고 하시기를 바랍니다.

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

[비전공자 대환영] 캐글 데이터를 활용한 Optuna with MLFlow - 캐글다지기
- 머신러닝 하이퍼파라미터 튜닝 등을 배우고 싶다면 다음 강의를 참고하세요.

Docker Installation in Windows

Sat, 29 Oct 2022 14:00:47 +0900

사전 준비

WSL2가 설치가 되어 있어야 한다.
- 참고 : https://dschloe.github.io/settings/wsl2_install_on_windows/

도커 설치

해당 싸이트에 접속한다. (참조 : https://www.docker.com/products/docker-desktop/)

관리자 권한으로 실행

설치가 완료가 되면 Close and Log Out 버튼이 나오면 클릭하면 윈도우 로그아웃이 진행되기 때문에, 다시 재 로그인을 하도록 한다.
아래 그림 메뉴 우측 상단에 Sign In 버튼을 클릭해 로그인을 한다.

도커 Settings 창에 들어가서 아래 그림처럼 변경후 Apply & Restart 버튼을 클릭한다.

테스트

PowerShell에서 도커 명령어가 실행되는지 확인한다.

PS C:\Users\h> docker ps
CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES
PS C:\Users\h> docker --version
Docker version 20.10.20, build 9fdeb9c
PS C:\Users\h> wsl -l -v
  NAME                   STATE           VERSION
* Ubuntu                 Running         2
  docker-desktop         Running         2
  docker-desktop-data    Running         2

WSL2 설치 윈도우 10

Tue, 25 Oct 2022 14:40:30 +0900

Step 0. 설정을 통해 Hyper-V 역할 활성화

Windows 기능 사용/사용 안 함

재부팅을 해야 한다.

Step 1. WSL2 설치 과정

Windows PowerShell 관리자로 실행 후 다음 명령어 입력

$ dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
$ dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

위 명령어 실행 후, 재부팅 필수
x64 머신용 최신 WSL2 Linux 커널 업데이트 패키지를 다운로드 받아 안내에 따라 설치합니다.

Windows Powershell 열고 아래 코드 실행

$ wsl --set-default-version 2
WSL 2와의 주요 차이점에 대한 자세한 내용은 https://aka.ms/wsl2를 참조하세요

마이크로소프트 스토어에서 리눅스 설치

마이크로소프트 스토어(Microsoft Store) 앱을 열고 Ubuntu를 검색한다.

Excel with MySQL 연동

Sun, 09 Oct 2022 14:40:30 +0900

개요

엑셀 VBA 강의 중 Excel에서 MySQL DB와 연동하는 방법 의뢰를 받음
엑셀은 MySQL과 연결이 (생각보다) 매우 쉽게 할 수 있도록 설계 되어 있었음

사전준비

MySQL 설치 과정은 다음 자료를 참고한다.
- https://hongong.hanbit.co.kr/mysql-다운로드-및-설치하기mysql-community-8-0/

버전 확인

먼저 필자는 윈도우 11에서 작업중임
필자의 엑셀 정보는 아래와 같음
- [계정] - [Excel 정보] 클릭하면 아래와 같음

필자의 MySQL 정보는 아래와 같음

필수 설치 프로그램 다운로드 및 설치

https://www.microsoft.com/ko-kr/download/details.aspx?id=48217 에 접속 후 다운로드 받은 후 설치를 진행한다.

Plotly 그래프 - 막대 그래프 색상 변경

Mon, 19 Sep 2022 12:00:47 +0900

개요

특정 컬럼의 색상을 변경하는 코드를 작성한다.

기본 그래프 작성

우선 아래와 같은 기본 그래프를 작성한다.

import plotly.express as px 

tips = px.data.tips()
tips_mean_day = tips.groupby("day").mean().reset_index()
tips_mean_day.head()

fig = px.bar(tips_mean_day, x = 'day', y = 'tip')
fig.show()

Sun 색상 변경

Sun 값의 막대 그래프의 색상을 변경하도록 한다.
먼저 marker.color를 활용하여 색상을 먼저 지정한 뒤, X축 라벨의 순서를 후에 재정렬한 것이다.

fig.data[0].marker.color = ['#ff0000', '#ff0000', 'black', '#ff0000']
fig.layout.xaxis.categoryarray = ["Thur", "Fri", "Sat", "Sun"]
fig.show()

투명도 설정

Sun을 제외한 나머지 컬럼에 대한 투명도를 설정한다.
- 참조 : https://plotly.com/python-api-reference/generated/plotly.graph_objects.bar.html#plotly.graph_objects.bar.Marker.opacity

fig.data[0].marker.color = ['#ff0000', '#ff0000', 'black', '#ff0000']
fig.data[0].marker.opacity = [0.3, 0.3, 1, 0.3]
fig.layout.xaxis.categoryarray = ["Thur", "Fri", "Sat", "Sun"]
fig.show()

Plotly 그래프 - 막대 그래프 X축 라벨 변경하기

Wed, 14 Sep 2022 12:00:47 +0900

개요

기존에 작성한 그래프를 목적에 맞게 수정 및 변경할 수 있다.
Figure Object를 활용한다.

데이터 불러오기 및 가공

tips 데이터를 불러온 뒤, 데이터를 가공하여 평균 값을 구한다.

import plotly.express as px 

tips = px.data.tips()
tips_mean_day = tips.groupby("day").mean().reset_index()
tips_mean_day.head()

막대 그래프 작성하기

기본 막대그래프를 작성한다.
그런데, X축의 값을 보면 요일별로 정리가 안된 것을 확인할 수 있다. 이 부분을 수정하도록 한다.

fig = px.bar(tips_mean_day, x = 'day', y = 'tip')
fig.show()

막대 그래프의 X 라벨 변경하기

우선 막대그래프의 순서를 변경하도록 한다. 세가지 방법이 있다. 첫번째는 최초 그래프를 생성할 때, category_orders 에 그래프의 순서를 지정하는 방법이 있다.

fig = px.bar(tips_mean_day, x = 'day', y = 'tip', category_orders={"day": ["Thur", "Fri", "Sat", "Sun"]})
fig.show()

Plotly 그래프 - Plotly Express

Tue, 13 Sep 2022 12:00:47 +0900

개요

High-Level API 형태인 Plotly Express에 대해 학습하도록 한다.
Plotly Express는 간단하게 말하면 Pandas Dataframe과 직접적으로 연동이 가능하다.
보다 직관적으로 그래프를 시각화할 수 있기 때문에 초기 밑그림을 그릴 때는 Plotly Express로 작성하는 것이 좋다.
전체 설명 참고자료 : Plotly Express in Python

Plotly Express 요약

Plotly Express Function은 graph_objects를 기반으로 작성되며, 그래프의 반환값도 plotly.graph_objects 형태이다.
공식 문서에는 약 30개 이상이 그래프 유형이 존재하는 것으로 알려지고 있다.
- 참조 : plotly.express: high-level interface for data visualization

Plotly Express 그래프 종류

Plotly Express currently includes the following functions:

Plotly 그래프 - 테마 변경하기

Mon, 12 Sep 2022 12:00:47 +0900

개요

plotly 그래프의 테마를 변경하는 방법에 대해 알아본다.

그래프 테마의 종류 확인하기

우선 기본 그래프를 확인한다.

import plotly.graph_objects as go
weekly_sales = dict({
    "data": [{
        "type": "bar", 
        "x": ["Monday", "Tuesday", "Wednesday", "Thursday", "Friday", "Saturday", "Sunday"], 
        "y": [28, 27, 25, 31, 32, 35, 36]
    }], 
    "layout" : {"title": {"text": "Sales of the week", 
                          "x": 0.5, "font": {"color": "red", "size": 15}}}
})

fig = go.Figure(weekly_sales)
fig.show()

그래프 테마를 변경하기 위해 우선 종류를 확인해야 한다.

plotly.io.templates

Templates configuration
-----------------------
    Default template: 'plotly'
    Available templates:
        ['ggplot2', 'seaborn', 'simple_white', 'plotly',
         'plotly_white', 'plotly_dark', 'presentation', 'xgridoff',
         'ygridoff', 'gridon', 'none']

그래프 테마 변경하기

그래프 테마를 변경하도록 하기 위해서는 간단하게 아래와 같이 적용하면 된다.

fig.layout.template = 'ggplot2'
fig.show()

Plotly 그래프 - 이미지 내보내기

Sun, 11 Sep 2022 12:00:47 +0900

개요

Plotly 그래프를 다양한 방법으로 내보내는 코드를 작성해본다.
본 블로그에서는 HTML, PNG 두가지 형태로 내보내는 방법을 숙지한다.

HTML로 내보내기

plotly figures는 HTML 및 자바스크립트로 구성되어 있다.
소스코드는 아래와 같다.

fig.write_html('html_plot.html', config={'toImageButtonOptions':{'format': 'svg'}})

image로 내보내기

이미지로 내보내기 위해서는 아래와 같이 소스코드를 작성한다.

fig.write_image('path/to/image_file.svg',height=600, width=850)

그런데, 실행 시, 다음과 에러가 나올 경우 아래와 같이 라이브러리를 설치한다.

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-11-691564193a43> in <module>
----> 1 fig.write_image('img/tutorial.png', height = 600, width = 850)

/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/plotly/basedatatypes.py in write_image(self, *args, **kwargs)
   3819         import plotly.io as pio
   3820 
-> 3821         return pio.write_image(self, *args, **kwargs)
   3822 
   3823     # Static helpers

/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/plotly/io/_kaleido.py in write_image(fig, file, format, scale, width, height, validate, engine)
    266     # -------------
    267     # Do this first so we don't create a file if image conversion fails
--> 268     img_data = to_image(
    269         fig,
    270         format=format,

/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/plotly/io/_kaleido.py in to_image(fig, format, width, height, scale, validate, engine)
    132     # Raise informative error message if Kaleido is not installed
    133     if scope is None:
--> 134         raise ValueError(
    135             """
    136 Image export using the "kaleido" engine requires the kaleido package,

ValueError: 
Image export using the "kaleido" engine requires the kaleido package,
which can be installed using pip:
    $ pip install -U kaleido

pip install -U kaleido

다음 코드를 재 실행한다.

fig.write_image('img/tutorial.png', height = 600, width = 850)

해당되는 경로에서 실제 이미지가 내보내기가 되었는지 확인한다.

Plotly 그래프 - Figure Object 이해하기

Sat, 10 Sep 2022 12:00:47 +0900

Figure Object

Figure Object는 크게 두가지로 구성(Attribute)이 되어 있다.
- data : 여기에서는 그래프와 관련된 각종 정보가 담긴 데이터를 의미한다. 예를 들면, 산점도를 그린다면, X와 Y값의 정보를 확인할 수 있다. 그래프의 색상도 정의할 수 있다.
- layout : data외의 모든 것은 layout에 속한다. 기본적으로 layout은 그래프의 Styling 요소들이 들어 있다. 예를 들면, X축, Y축의 제목, 색상 등을 변경하고자 할 때는 layout에 접근해야 한다.
간단하게 Figure Object를 정의해본다.

import plotly.graph_objects as go

fig = go.Figure()
fig.show()

Plotly 그래프 시작하기 - 필수 사전 준비

Fri, 09 Sep 2022 12:00:47 +0900

개요

Plotly 그래프의 기본 생태계를 익히도록 한다.
Plotly 그래프를 작성하도록 한다.

라이브러리 불러오기

본 코드는 모두 Local 가상환경을 설치한 후, Jupyter Lab에서 작성했다.
- 해당 설치 과정은 본 블로그에서는 생략한다.
- 참조 : https://dojang.io/mod/page/view.php?id=2470
현재 plotly 버전은 다음과 같다.

import plotly
print(plotly.__version__)

5.1.0

로컬 환경에서 Jupyter notebook에서 plotly 그래프가 간혹 나타나지 않는 경우가 있다. 그런 경우, 아래와 같이 추가로 설치를 진행한다.

jupyter labextension install jupyterlab-plotly

설치가 완료되었다면, 아래와 같은 코드를 추가로 실행한다.

import plotly
plotly.offline.init_notebook_mode(connected=True)

그래프 테스트

먼저, 아래와 같은 샘플 코드를 실행했을 때, Jupyter Lab 상에 그래프 창이 나오면 정상이다.

import plotly.graph_objects as go
weekly_sales = dict({
    "data": [{
        "type": "bar", 
        "x": ["Monday", "Tuesday", "Wednesday", "Thursday", "Friday", "Saturday", "Sunday"], 
        "y": [28, 27, 25, 31, 32, 35, 36]
    }], 
    "layout" : {"title": {"text": "Sales of the week", 
                          "x": 0.5, "font": {"color": "red", "size": 15}}}
})

fig = go.Figure(weekly_sales)
fig.show()

Flask Web Resume Using Templates

Sat, 03 Sep 2022 10:00:47 +0900

개요

Flask 웹개발을 통해 간단한 Resume를 작성해본다.

가상환경

프로젝트 폴더에 가상환경을 설치한다.

virtualenv venv
created virtual environment CPython3.9.12.final.0-64 in 5343ms
  creator CPython3Windows(dest=C:\Users\human\Desktop\flask-resume-evan-examples\venv, clear=False, no_vcs_ignore=False, global=False)
  seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy,
app_data_dir=C:\Users\human\AppData\Local\pypa\virtualenv)
    added seed packages: pip==22.2.2, setuptools==63.2.0, wheel==0.37.1
  activators BashActivator,BatchActivator,FishActivator,NushellActivator,PowerShellActivator,PythonActivator

라이브러리 설치

가상환경에 접속 후, Flask 라이브러리를 설치한다.

pip install Flask

[app.py](http://app.py) 에 다음과 같이 작성한다.

from flask import Flask, render_template

app = Flask(__name__)

@app.route('/')
def index():
    first_name = 'Evan'
    return render_template('index.html', f_name = first_name)

templates에서 index.html 파일을 만든다.

Dash App Using Flask Factory Pattern and Blueprint - 2

Fri, 26 Aug 2022 09:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

기존 Flask-Dash-Heroku 연동 예제를 업그레이드 한다.
Flask Factory Application의 기본 개념 및 Blueprint의 기본 개념을 이해한다.
Dash App을 Flask Factory Application에 맞추어 가공 한다.

리뷰

기존 필자가 작성해두었던 Flask-Dash-Heroku App을 리뷰한다.
- 참조 : Flask-Dash-Heroku 연동
- 참조 : Dash App Using Flask Factory Pattern and Blueprint - 1

미리보기

다음과 같이 메뉴가 있도록 코드를 작성할 예정이다.

Dash App Using Flask Factory Pattern and Blueprint - 1

Thu, 25 Aug 2022 09:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

기존 Flask-Dash-Heroku 연동 예제를 업그레이드 한다.
Flask Factory Application의 기본 개념 및 Blueprint의 기본 개념을 이해한다.

리뷰

기존 필자가 작성해두었던 Flask-Dash-Heroku App을 리뷰한다.
- 참조 : Flask-Dash-Heroku 연동

미리보기

다음과 같이 메뉴가 있도록 코드를 작성할 예정이다.

Grafana 설치 및 대시보드 만들기 - 기본편

Sat, 20 Aug 2022 13:11:47 +0900

개요

Grafana 대시보드를 다운로드 받고, 그래프를 작성한다.
DB 연동을 통해 대시보드를 작성해본다.

설치

Grafana Download 사이트 : https://grafana.com/grafana/download?edition=oss&platform=windows
- 오픈소스로 다운로드 받는다.

설치가 끝난 이후에는 localhost:3000/login에 접속을 할 수 있다.

첫번째 대시보드

Dashboard를 클릭한다.

Add a new panel를 클릭한다.

아래 그림에서 Data source를 클릭한다.

Query 탭에 Grafana를 선택한 상태에서 우측 상단의 Apply 버튼을 클릭한다.

Flask-Dash-Heroku 연동

Thu, 18 Aug 2022 09:10:47 +0900

개요

Flask 및 Dash를 활용하여 간단한 대시보드를 생성할 수 있다.
기존 구현한 대시보드를 Heroku에 배포할 수 있다.

사전준비

파이썬 가상환경 설치 및 기존 라이브러리에 대한 이해가 어느정도 있음을 가정한 상태에서 본 블로그를 작성했음을 유의한다.
Heroku 회원가입 및 로그인이 되어 있어야 한다.

Step 1. Github Repo생성

Github Repo 생성 시, 중복되지 않을 법한 이름으로 생성
- 필자 Repo : flask-heroku-dash-evan1234
해당 Repo를 로컬로 가져온다.

git clone https://github.com/your_name/your_unique_repo.git

Step 2. 가상환경 설치 및 주요 라이브러리 설치

먼저 가상환경을 설치한다.

virtualenv venv

가상환경에 접속한다.

source venv/Scripts/activate

주요 라이브러리를 설치한다.
- pandas : 데이터 불러오기 및 가공
- dash & plotly : 동적 시각화 대시보드 제공 라이브러리
- Flask : Flask 웹 프레임워크
- SQLAlchemy : 데이터베이스 연동 프레임워크

pip install dash plotly Flask pandas gunicorn psycopg2-binary SQLAlchemy Flask-SQLAlchemy

Step 3. 기본 배포 테스트

먼저 본격적인 코드에 앞서 기본적으로 배포가 되는지 확인한다.
필요한 파일 app.py, Procfile, runtime.txt, requirements.txt 파일이 필요하다.

(1) app.py

아래와 같이 작성한다.

# -*- coding:utf-8 -*-

from flask import Flask

app = Flask(__name__)

@app.route('/')
def index():
    return "Hello World"

(2) Procfile 파일 작성

대문자 및 소문자 정확하게 기재해야 한다.

web: gunicorn app:app

(3) runtime.txt 파일 작성

python-3.9.12

(4) requirements.txt 파일 작성

해당 파일은 기존에 설치했던 라이브러리를 모두 호출하는 형식이어야 한다.
프로젝트 Root 경로에서 아래와 같이 실행한다.

pip freeze > requirements.txt

전체 파일 구조를 확인하면 아래와 같다.

$ ls
app.py  Procfile  README.md  requirements.txt  runtime.txt  venv/

(5) wsgi.py 파일 작성

먼저 wsgi는 일종의 프로토콜인데, Python Application이 웹 서버와 통신하기 위한 표준 인터페이스를 제공한다.
자세한 내용은 관련 문서를 참조한다.
- 참조 : https://uwsgi-docs.readthedocs.io/en/latest/WSGIquickstart.html#deploying-flask
코드는 다음과 같이 작성한다.

from app import app

if __name__ == "__main__":
    app.run(threaded=True, port=5000)

(5) 배포 시작

아래 명령어를 순차적으로 입력하여 실행한다.
- heroku login 시, Web UI에서 실제 ID와 Password를 입력해야 한다.
- heroku create github repo와 동일하게 작성한다.

heroku login
heroku create your_project_repo
git add .
git commit -m "initial updated"
git push # github repo에 추가
git push heroku main

(6) 배포 사이트 확인

실제로 정상적으로 배포가 완료가 되었다면 실제 웹사이트 URL을 클릭 후, 아래와 같이 확인할 수 있어야 한다.
배포가 진행이 안된다면, 그 다음 코드를 입력하는 것은 의미가 없기 때문에 확인 후 넘어가도록 한다.

Mecab 사용자 단어 사전 추가 in R, windows 10

Wed, 17 Aug 2022 17:38:15 +0900

개요

Mecab에서 사용자 단어를 추가하고 직접 사용하는 예제를 만들어본다.
사전에 Mecab은 설치가 되어 있다고 가정한다. 만약 처음 설치한다면, 다음 참조 링크에서 설치를 진행한다.
- 참조 : RcppMeCab 패키지 설치 (Windows)

문제점

아래그림과 같이 ‘사회적경제’라는 단어가 잡히지 않는 것을 확인할 수 있다.

해결방법

먼저, 사전 위치를 찾는다.
- mecab > user-dic 폴더 내에 nnp.csv 파일을 찾는다.

서식에 관한 구체적인 내용을 참조링크를 확인한다.
- 품사태그 설명

nnp.csv 파일을 메모장으로 열고 수정한다.

Flask Heroku Pandas Postgres 튜토리얼

Tue, 09 Aug 2022 10:00:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

Flask 기본적인 작동 원리를 배운다.
Postgres와 SQLAlchemy를 활용한다.
Heroku에 배포를 진행한다.

사전준비

Github에 각 개인에게 맞는 Github Repo를 생성한다.
- 주의 : 반드시 Unique하게 작성해야 한다.
가상환경 설정을 진행한다.
PostgreSQL DB 설정은 다음을 참조한다.
- Postgre SQL Installation on Windows 10

virtualenv venv

주요 라이브러리를 설치한다.

pip install Flask psycopg2 SQLAlchemy pandas gunicorn

배포

프로젝트 시작 전에는 항상 선 배포를 하고 시작한다.
app.py를 만들어본다.

# -*- coding: utf-8 -*-

from flask import Flask

app = Flask(__name__)

@app.route("/")
def index():
    return "Hello World!"

3개의 파일이 필요하다.

Scikit-Learn ML Model with Java

Fri, 05 Aug 2022 11:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

scikit-learn 모델을 JAVA에서 구동 시켜야 한다.
크게 3가지 방법론이 존재한다.(원문 참조 : Moving from Python to Java to deploy your machine learning model to production
- embed : Java 코드 내에서 직접 Python 코드 구현 방법. Jython을 이용하지만, 문제는 Scikit-Learn은 지원하지 않는다. 따라서 일반적으로 Flask API를 통해서 지원하기도 한다.
- transpile : Scikit-Learn 모델을 전달하는 방법. sklearn-porter나 m2cgen를 고려할 수 있다.
- redevelop : Scikit-Learn 모델을 H20나 Spark의 MLib을 구현한 후 배포하는 방법이다.

새로운 제안

그러나 다각도로 여러 시도 및 라이브러리가 존재함.
오늘 소개할 라이브러니느 sklearn2pmml임.
- github 참조 : https://github.com/jpmml/sklearn2pmml
JAVA가 설치가 되어 있어야 함.
- 로컬 환경은 각자 환경변수를 추가해야 함. 이 부분은 생략함.
구글 코랩에서는 아래와 같이 설치가 가능함.
Java 코드 참조 : Using scikit-learn model into Java app

!apt update -q
!apt-get install -q openjdk-11-jdk-headless

%env JAVA_HOME "/usr/lib/jvm/java-11-openjdk-amd64"

Hit:1 https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64  InRelease
Get:2 https://cloud.r-project.org/bin/linux/ubuntu bionic-cran40/ InRelease [3,626 B]
Get:3 http://security.ubuntu.com/ubuntu bionic-security InRelease [88.7 kB]
Hit:4 http://ppa.launchpad.net/c2d4u.team/c2d4u4.0+/ubuntu bionic InRelease
Hit:5 http://archive.ubuntu.com/ubuntu bionic InRelease
Get:6 http://archive.ubuntu.com/ubuntu bionic-updates InRelease [88.7 kB]
Ign:7 https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64  InRelease
Hit:8 http://ppa.launchpad.net/cran/libgit2/ubuntu bionic InRelease
Hit:9 https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64  Release
Hit:10 http://ppa.launchpad.net/deadsnakes/ppa/ubuntu bionic InRelease
Get:11 http://archive.ubuntu.com/ubuntu bionic-backports InRelease [74.6 kB]
Hit:12 http://ppa.launchpad.net/graphics-drivers/ppa/ubuntu bionic InRelease
Get:14 http://security.ubuntu.com/ubuntu bionic-security/main amd64 Packages [2,867 kB]
Get:15 http://archive.ubuntu.com/ubuntu bionic-updates/restricted amd64 Packages [1,075 kB]
Get:16 http://archive.ubuntu.com/ubuntu bionic-updates/universe amd64 Packages [2,297 kB]
Get:17 http://archive.ubuntu.com/ubuntu bionic-updates/main amd64 Packages [3,302 kB]
Fetched 9,797 kB in 6s (1,534 kB/s)
Reading package lists...
Building dependency tree...
Reading state information...
49 packages can be upgraded. Run 'apt list --upgradable' to see them.
Reading package lists...
Building dependency tree...
Reading state information...
openjdk-11-jdk-headless is already the newest version (11.0.15+10-0ubuntu0.18.04.1).
The following package was automatically installed and is no longer required:
  libnvidia-common-460
Use 'apt autoremove' to remove it.
0 upgraded, 0 newly installed, 0 to remove and 49 not upgraded.
env: JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"

설치가 끝난 후에는 sklearn2pmml을 설치한다.

!pip install sklearn2pmml

Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/
Collecting sklearn2pmml
  Downloading sklearn2pmml-0.84.2.tar.gz (6.3 MB)
[K     |████████████████████████████████| 6.3 MB 5.1 MB/s 
[?25hRequirement already satisfied: joblib>=0.13.0 in /usr/local/lib/python3.7/dist-packages (from sklearn2pmml) (1.1.0)
Requirement already satisfied: scikit-learn>=0.18.0 in /usr/local/lib/python3.7/dist-packages (from sklearn2pmml) (1.0.2)
Requirement already satisfied: sklearn-pandas>=0.0.10 in /usr/local/lib/python3.7/dist-packages (from sklearn2pmml) (1.8.0)
Requirement already satisfied: numpy>=1.14.6 in /usr/local/lib/python3.7/dist-packages (from scikit-learn>=0.18.0->sklearn2pmml) (1.21.6)
Requirement already satisfied: scipy>=1.1.0 in /usr/local/lib/python3.7/dist-packages (from scikit-learn>=0.18.0->sklearn2pmml) (1.4.1)
Requirement already satisfied: threadpoolctl>=2.0.0 in /usr/local/lib/python3.7/dist-packages (from scikit-learn>=0.18.0->sklearn2pmml) (3.1.0)
Requirement already satisfied: pandas>=0.11.0 in /usr/local/lib/python3.7/dist-packages (from sklearn-pandas>=0.0.10->sklearn2pmml) (1.3.5)
Requirement already satisfied: pytz>=2017.3 in /usr/local/lib/python3.7/dist-packages (from pandas>=0.11.0->sklearn-pandas>=0.0.10->sklearn2pmml) (2022.1)
Requirement already satisfied: python-dateutil>=2.7.3 in /usr/local/lib/python3.7/dist-packages (from pandas>=0.11.0->sklearn-pandas>=0.0.10->sklearn2pmml) (2.8.2)
Requirement already satisfied: six>=1.5 in /usr/local/lib/python3.7/dist-packages (from python-dateutil>=2.7.3->pandas>=0.11.0->sklearn-pandas>=0.0.10->sklearn2pmml) (1.15.0)
Building wheels for collected packages: sklearn2pmml
  Building wheel for sklearn2pmml (setup.py) ... [?25l[?25hdone
  Created wheel for sklearn2pmml: filename=sklearn2pmml-0.84.2-py3-none-any.whl size=6298569 sha256=f6a564303dd11e9ce38b6c7b4ec4e8a4632499c61d3ee69f40070a1f1983ef80
  Stored in directory: /root/.cache/pip/wheels/bb/e4/71/d3c8f75fae8d7f387f82099ec8cdd6b83cf1dccaeb3561c7b6
Successfully built sklearn2pmml
Installing collected packages: sklearn2pmml
Successfully installed sklearn2pmml-0.84.2

샘플 코드 작성

간단한 모형을 구축한다.

from sklearn.datasets import load_diabetes
from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import train_test_split
from sklearn2pmml import PMMLPipeline, sklearn2pmml
import pandas as pd

# 데이터 불러오기
df = load_diabetes()
X = pd.DataFrame(columns = df.feature_names, data = df.get('data'))
y = pd.DataFrame(columns = ['target'], data = df.get('target'))

# 데이터셋 분리하기
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.1, random_state=42)

# Pipeline 구축하기
pipeline = PMMLPipeline([ ('regressor', DecisionTreeRegressor()) ])

# 모형 학습 시키기
pipeline.fit(X_train, y_train)

PMMLPipeline(steps=[('regressor', DecisionTreeRegressor())])

이번에는 모형을 테스트 한다.

from sklearn.metrics import mean_absolute_error
y_pred = pipeline.predict(X_test)
print('MAE: ', mean_absolute_error(y_pred, y_test))

MAE:  65.42222222222222

이제 모형을 pmml 파일 형태로 저장한다.

# 모델 내보내기
sklearn2pmml(pipeline, 'model.pmml', with_repr = True)

Scikit-Learn Model into JAVA

해당 모형을 이제 이제 Java에서 가져오도록 한다.
Java 코드에서는 pmml4s library를 이용한다.

import org.pmml4s.model.Model;

import java.util.*;

public class Main {

    private final Model model = Model.fromFile(Main.class.getClassLoader().getResource("model.pmml").getFile());

    public Double getRegressionValue(Map<String, Double> values) {
        Object[] valuesMap = Arrays.stream(model.inputNames())
                .map(values::get)
                .toArray();

        Object[] result = model.predict(valuesMap);
        return (Double) result[0];
    }

    public static void main(String[] args) {
        Main main = new Main();
        Map<String, Double> values = Map.of(
                "age", 20d,
                "sex", 1d,
                "bmi", -100d,
                "bp", -200d,
                "s1", 1d,
                "s2", 2d,
                "s3", 3d,
                "s4", 4d,
                "s5", 5d,
                "s6", 6d
        );

        double predicted = main.getRegressionValue(values);
        System.out.println(predicted);
    }
}

실제 테스트를 진행하면 다음과 같다.
- 해당 웹사이트에 접속한 후, 작성한 모형을 올려본다.
- Java : https://replit.com/@JhonatanSilva3/MachineLearningPipeline#Main.java

Oracle CSV File Upload using CMD

Fri, 22 Jul 2022 14:40:30 +0900

개요

iris.csv 파일을 오라클 명령어를 통해서 업로드를 진행한다.
대부분의 명령어는 터미널에서 처리하였다.

SQLPLUS 접속

SQL에 접속한다.

테이블 생성

터미널에서 iris 테이블을 생성한다.

CREATE TABLE iris (
	sepal_length INTEGER, 
	sepal_width  INTEGER, 
  petal_length INTEGER, 
  petal_width  INTEGER, 
  species      varchar2(20)
);

ctl 파일 생성

메모장에 아래와 같이 ctl 파일을 생성한다.
파일명은 control.ctl이다.

LOAD DATA
INFILE 'iris.csv'
INTO TABLE iris
fields terminated by ','
(
    sepal_length,
    sepal_width, 
    petal_length,
    petal_width,
    species
)

파일 업로드

sqlplus 접속을 종료한다.
control.ctl 파일이 있는 경로로 이동한다. 만약, control.ctl.txt 형태로 저장이 되어 있다면, vscode 편집기에서 수정하는 것을 권한다.

MLFlow with Scikit-Learn

Mon, 11 Jul 2022 10:00:47 +0900

개요

Scikit-Learn 모델을 만든 후, MLFlow로 모델을 배포한다.
머신러닝 코드에 대한 설명은 생략한다.
가상환경 설정에 관한 내용도 생략한다.

라이브러리 불러오기

기존 코드에서 mlflow 라이브러리만 추가한다.

%matplotlib inline

import numpy as np 
import pandas as pd 
import matplotlib as mpl
import matplotlib.pyplot as plt 
import sklearn
import seaborn as sns
import mlflow 
import mlflow.sklearn
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split, KFold
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import roc_auc_score, plot_roc_curve, confusion_matrix 

print(f"numpy version {np.__version__}")
print(f"pandas version {pd.__version__}")
print(f"matplotlib version {mpl.__version__}")
print(f"seaborn version {sns.__version__}")
print(f"sklearn version {sklearn.__version__}")
print(f"MLFlow version {mlflow.__version__}")

numpy version 1.23.1
pandas version 1.4.3
matplotlib version 3.5.2
seaborn version 0.11.2
sklearn version 1.1.1
MLFlow version 1.27.0

데이터 불러오기

데이터를 불러오도록 한다.

DATA_PATH = "C:\\Users\\your_id\\Desktop\\mlops_tutorial\\data\\creditcard.csv"

df = pd.read_csv(DATA_PATH)
print(df.head())

   Time        V1        V2        V3        V4        V5        V6        V7  \
0   0.0 -1.359807 -0.072781  2.536347  1.378155 -0.338321  0.462388  0.239599   
1   0.0  1.191857  0.266151  0.166480  0.448154  0.060018 -0.082361 -0.078803   
2   1.0 -1.358354 -1.340163  1.773209  0.379780 -0.503198  1.800499  0.791461   
3   1.0 -0.966272 -0.185226  1.792993 -0.863291 -0.010309  1.247203  0.237609   
4   2.0 -1.158233  0.877737  1.548718  0.403034 -0.407193  0.095921  0.592941   

         V8        V9  ...       V21       V22       V23       V24       V25  \
0  0.098698  0.363787  ... -0.018307  0.277838 -0.110474  0.066928  0.128539   
1  0.085102 -0.255425  ... -0.225775 -0.638672  0.101288 -0.339846  0.167170   
2  0.247676 -1.514654  ...  0.247998  0.771679  0.909412 -0.689281 -0.327642   
3  0.377436 -1.387024  ... -0.108300  0.005274 -0.190321 -1.175575  0.647376   
4 -0.270533  0.817739  ... -0.009431  0.798278 -0.137458  0.141267 -0.206010   

        V26       V27       V28  Amount  Class  
0 -0.189115  0.133558 -0.021053  149.62      0  
1  0.125895 -0.008983  0.014724    2.69      0  
2 -0.139097 -0.055353 -0.059752  378.66      0  
3 -0.221929  0.062723  0.061458  123.50      0  
4  0.502292  0.219422  0.215153   69.99      0  

[5 rows x 31 columns]

로지스틱 모형 만들기

기존 코드를 참조하여 모델을 만든다.
데이터셋 분리를 한다.


normal = df[df['Class'] == 0].sample(frac=0.5, random_state=42).reset_index(drop=True)
anomaly = df[df['Class']==1]

normal_train, normal_test = train_test_split(normal, test_size = 0.2, random_state=42)
anomary_train, anomary_test = train_test_split(anomaly, test_size = 0.2, random_state=42)

normal_train, normal_validate = train_test_split(normal_train, test_size = 0.25, random_state=42)
anomary_train, anomary_validate = train_test_split(anomary_train, test_size = 0.25, random_state=42)

normal_train.shape, normal_validate.shape, anomary_train.shape, anomary_validate.shape

((85294, 31), (28432, 31), (294, 31), (99, 31))

최종 학습, 테스트 및 검증 세트를 생성하기 위해 각각의 정상 및 이상 데이터 분할을 연결해야 한다.

X_train = pd.concat((normal_train, anomary_train))
X_test = pd.concat((normal_test, anomary_test))
X_validate = pd.concat((normal_validate, anomary_validate))

y_train = np.array(X_train["Class"])
y_test = np.array(X_test["Class"])
y_validate = np.array(X_validate["Class"])

X_train = X_train.drop("Class", axis = 1)
X_test = X_test.drop("Class", axis = 1)
X_validate = X_validate.drop("Class", axis = 1)

X_train.shape, X_validate.shape, X_test.shape, y_train.shape, y_validate.shape, y_test.shape

((85588, 30), (28531, 30), (28531, 30), (85588,), (28531,), (28531,))

표준화를 진행한다.

scaler = StandardScaler()
scaler.fit(X_train)

X_train = scaler.transform(X_train)
X_test = scaler.transform(X_test)
X_validate = scaler.transform(X_validate)

MLFlow를 통한 학습 및 평가

MLFlow 기능으로 검증에 사용하는 사용자 정의 함수를 만들어 본다.
여기서 핵심은
- mlflow.log_metric() 함수를 통해 지표를 로깅할 수 있음
- mlflow.log_artifact() 함수를 통해 그래프를 저장할 수 잇음.

def train(sk_model, X_train, y_train):
    sk_model = sk_model.fit(X_train, y_train)
    train_acc = sk_model.score(X_train, y_train)
    mlflow.log_metric("train_acc", train_acc)
    
    print(f"Train Accuracy: (train_acc:.3%)")
    

def evaluate(sk_model, X_test, y_test):
    eval_acc = sk_model.score(X_test, y_test)
    preds = sk_model.predict(X_test)
    auc_score = roc_auc_score(y_test, preds)
    mlflow.log_metric("eval_acc", eval_acc)
    mlflow.log_metric("auc_score", auc_score)
    
    print(f"Auc Score : {auc_score:.3%}")
    print(f"Eval Score : {eval_acc:.3%}")
    roc_plot = plot_roc_curve(sk_model, X_test, y_test, name="Scikit-Learn ROC Curve")
    plt.savefig("sklearn_roc_plot.png")
    plt.show()
    plt.clf()
    conf_matrix = confusion_matrix(y_test, preds)
    ax = sns.heatmap(conf_matrix, annot=True, fmt='g')
    ax.invert_xaxis()
    ax.invert_yaxis()
    plt.ylabel("Actual")
    plt.xlabel("Predicted")
    plt.title("Confusion Matrix")
    plt.savefig("sklearn_conf_matrix.png")
    mlflow.log_artifact("sklearn_roc_plot.png")
    mlflow.log_artifact("sklearn_conf_matrix.png")

MLFlow 실행 로깅 및 확인

실제 실험 이름을 설정하고, MLFlow 실행 시작. 해당 코드를 모두 실행한다.

# 모델 설정
sk_model = LogisticRegression(random_state=None, max_iter=400, solver='newton-cg')

# 실험 이름 설정
mlflow.set_experiment("sklearn_experiment")

# 해당 이름으로 실행 배치
with mlflow.start_run():
    train(sk_model, X_train, y_train)
    evaluate(sk_model, X_test, y_test)
    
    # 하나의 MLFlow 실행 컨텍스트에서 모든 코드를 묶을 수 있음. 
    # 참조 : https://mlflow.org/docs/latest/models.html#model-customization
    mlflow.sklearn.log_model(sk_model, 'log_reg_model')
    
    # 본질적으로 모델과 지표가 로깅되는 현재 실행을 가져오고 출력함. 
    print("Model run: ", mlflow.active_run().info.run_uuid)
mlflow.end_run()

Train Accuracy: (train_acc:.3%)
Auc Score : 86.355%
Eval Score : 99.888%


C:\Users\your_id\Desktop\mlops_tutorial\venv\lib\site-packages\sklearn\utils\deprecation.py:87: FutureWarning: Function plot_roc_curve is deprecated; Function :func:`plot_roc_curve` is deprecated in 1.0 and will be removed in 1.2. Use one of the class methods: :meth:`sklearn.metric.RocCurveDisplay.from_predictions` or :meth:`sklearn.metric.RocCurveDisplay.from_estimator`.
  warnings.warn(msg, category=FutureWarning)

주요 핵심 머신러닝 리뷰

Wed, 06 Jul 2022 10:00:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

수강생들의 머신러닝을 활용한 웹 개발 프로젝트 전 복습 차원에서 준비함.
주 내용은 주요 참고자료를 기반으로 작성하였으며, 참고자료에 없는 코드는 직접 작성하였음을 밝힘.

가장 인기 있는 모델

XGBoost와 LightGBM
그 외, 선형회귀, 로지스틱 회귀, 결정 트리, 앙상블 학습, 랜덤 포레스트, XGBoost, LightGBM

선형 회귀

선형 회귀식을 활용한 모델
회귀 계수와 절편을 찾는 것이 중요
기초통계에서 다루는 선형 회귀와 기본적인 개념에서는 동일하나, 기초통계에서와 예측 모델에서의 쓰임새는 다르다는 것을 기억한다.

데이터 생성

단순 선형 회귀식 $y = 3x + 4$에 근사한 데이터 50개 생성

import numpy as np 
import pandas as pd 

np.random.seed(0) # 시드값 고정
intercept = 4 # 절편
slope = 3 # 기울기

# 변동성 주기 위해 노이즈 생성
noise = np.random.randn(50, 1)

# 50개의 x값 생성
x = 5 * np.random.rand(50, 1) # 0과 5사이의 실숫값 50개 생성
y = slope * x + intercept + noise

# 데이터 프레임 생성
data = pd.DataFrame({'X': x[:, 0], 'Y': y[:, 0]})
print(data.head())

          X          Y
0  0.794848   8.148596
1  0.551876   6.055784
2  3.281648  14.823682
3  0.690915   8.313637
4  0.982912   8.816293

위 데이터를 시각화로 구현한다.

import matplotlib.pyplot as plt

fig, ax = plt.subplots()
ax.scatter(data['X'], data['Y'])
plt.show()

django Web 개발 - IRIS Prediction

Sat, 25 Jun 2022 10:10:47 +0900

개요

Python Django와 Sklearn을 활용하여 간단한 iris prediction 웹을 만들어본다.

사전준비

머신러닝 기본 이론 및 원리는 어느정도 알고 있다고 가정한다.
Django 앱에 대해 어느정도 알고 있다고 가정한다.

무엇을 배우는가?

머신러닝 모델을 활용하여 배포하는 과정을 배운다.

가상환경 설정

가상환경을 생성한다.

$ virtualenv venv
created virtual environment CPython3.9.1.final.0-64 in 475ms
  creator CPython3Posix(dest=/Users/evan/Desktop/django-iris-tutorial/venv, clear=False, no_vcs_ignore=False, global=False)
  seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy, app_data_dir=/Users/evan/Library/Application Support/virtualenv)
    added seed packages: pip==22.1.1, setuptools==62.3.2, wheel==0.37.1
  activators BashActivator,CShellActivator,FishActivator,NushellActivator,PowerShellActivator,PythonActivator

만들어진 가상환경에 접속한다.

$ source venv/bin/activate
(venv) $

크게 3개의 라이브러리를 설치한다.
- jupyterlab : 머신러닝 개발 과정을 진행할 에디터로 활용한다.
- sklearn : 머신러닝 개발 관련 라이브러리이다.
- django : django 웹 프레임워크 라이브러리이다.

(venv) $ pip install jupyterlab sklearn django

머신러닝 개발

iris 데이터를 불러오고 sklearn을 활용하여 모형 개발을 진행한다.
모형 개발 시, 주요 Feature Engineering 과정은 생략한다.

(1) 모형 개발

jupyterlab을 실행한다.

(venv) $ python -m jupyterlab

아래와 같이 코드를 입력한다.

# Module 불러오기
from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
import pandas as pd

# 데이터셋 불러오기
df = pd.read_csv("data/iris.csv")

# 독립변수와 종속변수 분리
X = df[['sepal_length','sepal_width','petal_length','petal_width']]
y = df['classification']

# 훈련데이터와 종속데이터 분리
X_train, X_test, Y_train, Y_test = train_test_split(X, y, test_size=0.20, random_state=1)

# 모형 학습
model = SVC(gamma='auto')
model.fit(X_train, Y_train)

# 모형 예측
sepal_length = float(1.5)
sepal_width = float(5)
petal_length = float(4)
petal_width = float(3)

result = model.predict([[sepal_length,sepal_width,petal_length,petal_width]])  # input must be 2D array
print(result)

['Iris-virginica']
/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sklearn/base.py:445: UserWarning: X does not have valid feature names, but SVC was fitted with feature names
  warnings.warn(

(2) 모형 저장

pickle을 통해 모형 저장을 할 수 있다.

pd.to_pickle(model, r'models/svc_model.pickle')

Django 시작

django 웹사이트 프로젝트를 시작한다.

(venv) $ django-admin startproject iris
(venv) $ cd iris
(venv) $ python manage.py startapp predict

settings.py

iris/settings.py를 열고 아래와 같이 수정한다.

.
.
# Application definition

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'predict', 
]
.
.

urls.py

iris/urls.py를 열고 아래와 같이 수정한다.

from django.contrib import admin
from django.urls import path, include

urlpatterns = [
    path('admin/', admin.site.urls),
    path('', include('predict.urls', namespace='predict'))
]

predict/urls.py를 새로 생성하고 아래와 같이 코드를 추가한다.

from django.urls import path
from . import views

app_name = 'predict'

urlpatterns = [
    path('', views.predict, name='predict'),
]

views.py

이제 predict/views.py에서 predict 함수를 만들어 백엔드 처리를 진행하고, 최종 결괏값을 predict.html로 돌려주는 함수를 구현할 것이다.

from django.shortcuts import render

# Create your views here.
def predict(request):
    return render(request, 'predict.html', {})

predict.html

predict/templates 폴더를 만들고, predict.html 파일을 새로 생성한다.

hello

predict.html 파일이 잘 열리는지 확인한다.

(venv) iris$ python manage.py runserver

MySQL Database 생성 및 권한 부여

Sun, 19 Jun 2022 09:30:30 +0900

개요

MySQL 관리자 계정인 root로 DB 관리시스템에 접속 후 DB를 생성한다.

사전준비

MySQL 설치 및 환경변수를 설정한다.
- 참조 : https://dschloe.github.io/settings/mysql_installation_windows11/

DB 생성

콘솔창에서 MySQL 명령을 실행한다.

C:\Users\your_name>mysql -uroot -p
Enter password: ****
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 19
Server version: 8.0.28 MySQL Community Server - GPL

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

DB 생성 명령을 실행한다. DB명은 homestead 로 지정했다.

mysql> CREATE DATABASE homestead;
Query OK, 1 row affected (0.01 sec)

DB사용자 생성

해당 DB에 접근할 수 있는 계정을 생성한다.
- {username}과 {password}에 각 개인이 원하는대로 지정한다.

mysql> CREATE USER '{username}'@'localhost' IDENTIFIED BY '{password}';
mysql> CREATE USER '{username}'@'%' IDENTIFIED BY '{password}';

필자는 아래와 같이 했다.

mysql> CREATE USER 'homestead'@'localhost' IDENTIFIED BY 'secret';
Query OK, 0 rows affected (0.02 sec)

생성한 계정에 권한을 부여한다.
첫번째 명령어는 해당 DB에 모든 권한을 부여한다는 뜻이다.
두번째 명령어는 DBMS에 적용하라는 의미를 말하며, 반드시 실행해야 한다.

mysql> GRANT ALL PRIVILEGES ON homestead.* TO 'homestead'@'localhost';
Query OK, 0 rows affected (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

접속

이제 homestead DB에 접속한다.
기존 cmd 창은 root 계정이기 때문에 exit를 통해 선 종료 한다.

mysql> exit 
Bye

직접 해당 DB에 접근하는 것은 다음과 같다.

mysql -h127.0.0.1 -u{username} -p {database} # 예시
mysql -h127.0.0.1 -uhomestead -p homestead # 적용

실제로 적용하면 아래와 같이 실행될 것이다.

C:\Users\your_name>mysql -h127.0.0.1 -uhomestead -p homestead
Enter password: ******
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 21
Server version: 8.0.28 MySQL Community Server - GPL

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

현재 DB의 종류를 조회해본다.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| homestead          |
| information_schema |
+--------------------+
2 rows in set (0.00 sec)

MySQL Workbench 사용

이제 DB를 사용했으니, Workbench를 통해 접속해본다.
윈도우 돋보기에서 MySQL을 조회 후, Workbench 8.0 CE를 실행한다.

MySQL 설치 및 환경변수 설정 Windows 11

Sat, 18 Jun 2022 09:30:30 +0900

개요

Windows 11에 MySQL을 설치합니다.

MySQL

챗봇 시스템의 학습 데이터 관리 위해 MySQL을 사용함
설치 주소 : https://dev.mysql.com/downloads/
- MySQL Installer for Windows 파일을 선택함

MSI Installer를 다운로드 받는다.

다운로드 받은 파일을 순차적으로 설치 한다.

비밀번호는 잃어버리면 안된다. (비번 : 1234)

앞서 설정한 비밀번호를 입력하고 체크 버튼을 누른다.

정상적으로 설치가 완료되었다.

윈도우에서 돋보기 모양을 누른 후, MySQL 8.0 Command Line Client를 클릭한다.
root 계정 비밀번호를 입력 후 접속한다.

S3 with Python Basic Tutorial

Mon, 30 May 2022 10:13:30 +0900

Bucket 만들기

Bucket을 만들어보도록 한다.

import boto3
print(boto3.__version__)

1.23.5

bucket = boto3.resource('s3')

response = bucket.create_bucket(
    Bucket = "your_bucket_name",
    ACL="private", # public-read
    
    CreateBucketConfiguration = {
        'LocationConstraint' : 'ap-northeast-2'
    }
)

print(response)

s3.Bucket(name='your_bucket_name')

버킷 대시보드에서 실제 Bucket이 만들어졌는지 확인한다.

Client Bucket

이번에는 client 버킷을 생성한다.

client = boto3.client('s3')

response = client.create_bucket(
    Bucket = "your_bucket_name",
    ACL = "private",
    
    CreateBucketConfiguration = {
        'LocationConstraint' : 'ap-northeast-2'
    }

)

print(response)

{'ResponseMetadata': {'RequestId': '1X0BAXRG653Q7Y61', 'HostId': 'WwKyxNBcd1V9x6D/WZn8twMKSWKBnkwVCPWtvarZvyNSSvqr7Q77J6OFAdWuYAwiv/nQfXoW/0U=', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amz-id-2': 'WwKyxNBcd1V9x6D/WZn8twMKSWKBnkwVCPWtvarZvyNSSvqr7Q77J6OFAdWuYAwiv/nQfXoW/0U=', 'x-amz-request-id': '1X0BAXRG653Q7Y61', 'date': 'Wed, 25 May 2022 03:16:52 GMT', 'location': 'http://your_bucket_name.s3.amazonaws.com/', 'server': 'AmazonS3', 'content-length': '0'}, 'RetryAttempts': 0}, 'Location': 'http://your_bucket_name.s3.amazonaws.com/'}

Resource와 Client의 차이

Resource
- high-level, 객체지향적 인터페이스
- resource description에 의해 만들어짐
- 식별자(identifier)와 속성(attribute)을 사용
- 자원에 대한 조작 위주
Client
- low-level 인터페이스
- service description에 의해 만들어짐
- botocore 수준의 client를 공개(botocore는 AWS CLI와 boto3의 기초가 되는 라이브러리)
- AWS API와 1:1 매핑됨
- 메소드가 스네이크 케이스로 정의되어 있음

이미지 업로드 및 조회

일반적으로 이미지를 업로드 하는 코드는 다음과 같다.
- 단, Django나 Flask 등을 활용하여 이미지를 업로드할 때는 코드 작성 방법이 달라지니 참고용으로 확인한다.
코드 실행 후, Web UI에서 직접 확인한다.

Google Adsense with Hugo

Sun, 29 May 2022 09:30:30 +0900

동기부여

블로그 광고수익 비교 글을 보게 되었다.

그런데, 현재 운영중인 이 블로그의 일일 방문자수가 300-400명이어서 방치하면 안될 것 같았다.
간단하게 Google Adsense를 Hugo Website에 추가하도록 한다.

사전준비

먼저 Hugo Website는 Google Analytics와 미리 연동이 되어 있어야 한다.
- 참조 : Hugo 블로그에 Google analytics 추가하기

우선 Google Adsense에 접속한다.
Google Ads에서 아래 그림과 같이 사이트를 클릭한다.
사이트 추가 버튼을 누른다.

IAM User Practice

Sat, 28 May 2022 10:00:30 +0900

라이브러리 불러오기

기 설치된 라이브러리를 불러오도록 한다.

import boto3
print(boto3.__version__)

1.23.5

IAM User 관련 주요 코드

다음 코드는 유저를 생성하는 코드이다.

def create_user(username):
    iam = boto3.client('iam')
    response = iam.create_user(UserName=username)
    print(response)

create_user('testuser2fromwsl2')

{'User': {'Path': '/', 'UserName': 'testuser2fromwsl2', 'UserId': 'AIDAVRRRQ3HFXFQPOOY7Q', 'Arn': 'arn:aws:iam::381282212299:user/testuser2fromwsl2', 'CreateDate': datetime.datetime(2022, 5, 24, 5, 30, 6, tzinfo=tzutc())}, 'ResponseMetadata': {'RequestId': 'd5fa242b-9aa9-4ad9-a75a-ed23e041d4ba', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amzn-requestid': 'd5fa242b-9aa9-4ad9-a75a-ed23e041d4ba', 'content-type': 'text/xml', 'content-length': '495', 'date': 'Tue, 24 May 2022 05:30:05 GMT'}, 'RetryAttempts': 0}}

이번에는 모든 사용자를 가져오는 코드를 작성한다.

def all_users():
    iam = boto3.client('iam')
    paginator = iam.get_paginator('list_users')
    for response in paginator.paginate():
        for user in response['Users']:
            username = user['UserName']
            Arn = user['Arn']
            print('Username : {} Arn : {}'.format(username, Arn))

all_users()

Username : aws-wsl2 Arn : arn:aws:iam::381282212299:user/aws-wsl2
Username : human Arn : arn:aws:iam::381282212299:user/human
Username : human-m1 Arn : arn:aws:iam::381282212299:user/human-m1
Username : testuser Arn : arn:aws:iam::381282212299:user/testuser
Username : testuser2 Arn : arn:aws:iam::381282212299:user/testuser2
Username : testuser2fromwsl2 Arn : arn:aws:iam::381282212299:user/testuser2fromwsl2
Username : testuser3 Arn : arn:aws:iam::381282212299:user/testuser3

이번에는 사용자 이름을 변경한다.
- testuser2fromwsl2 이름을 updatetest로 변경하는 코드다.

def update_user(old_username, new_username):
    iam = boto3.client('iam')
    
    response = iam.update_user(
        UserName=old_username, 
        NewUserName=new_username
    )
    
    print(response)

update_user('testuser2fromwsl2', 'updatetest')
all_users()

{'ResponseMetadata': {'RequestId': '4a567c96-d5ce-4e76-9344-6ab762fc9e01', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amzn-requestid': '4a567c96-d5ce-4e76-9344-6ab762fc9e01', 'content-type': 'text/xml', 'content-length': '200', 'date': 'Tue, 24 May 2022 05:30:16 GMT'}, 'RetryAttempts': 0}}
Username : aws-wsl2 Arn : arn:aws:iam::381282212299:user/aws-wsl2
Username : human Arn : arn:aws:iam::381282212299:user/human
Username : human-m1 Arn : arn:aws:iam::381282212299:user/human-m1
Username : testuser Arn : arn:aws:iam::381282212299:user/testuser
Username : testuser2 Arn : arn:aws:iam::381282212299:user/testuser2
Username : testuser3 Arn : arn:aws:iam::381282212299:user/testuser3
Username : updatetest Arn : arn:aws:iam::381282212299:user/updatetest

Python AWS 연동 예제

보통 정책을 추가할 때는 Web UI Console창에서 지정하지만, 코드를 통해서 구현할 수도 있다.
- 참조 : https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/iam.html#IAM.Client.create_policy

import boto3
import json

def create_policy():
    iam = boto3.client('iam')

    user_policy = {
        "Version":"2012-10-17",
        "Statement":[
            {
                "Effect": "Allow",
                "Action": "*",
                "Resource": "*"
            }
        ]
    }

    response = iam.create_policy(
        PolicyName = 'pyFullAccess',
        PolicyDocument=json.dumps(user_policy)
    )
    print(response)


create_policy()

{'Policy': {'PolicyName': 'pyFullAccess', 'PolicyId': 'ANPAVRRRQ3HFQIRVWB2MX', 'Arn': 'arn:aws:iam::381282212299:policy/pyFullAccess', 'Path': '/', 'DefaultVersionId': 'v1', 'AttachmentCount': 0, 'PermissionsBoundaryUsageCount': 0, 'IsAttachable': True, 'CreateDate': datetime.datetime(2022, 5, 23, 5, 40, 21, tzinfo=tzutc()), 'UpdateDate': datetime.datetime(2022, 5, 23, 5, 40, 21, tzinfo=tzutc())}, 'ResponseMetadata': {'RequestId': '8da83bae-6c24-4104-9da4-22795e46652a', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amzn-requestid': '8da83bae-6c24-4104-9da4-22795e46652a', 'content-type': 'text/xml', 'content-length': '759', 'date': 'Mon, 23 May 2022 05:40:21 GMT'}, 'RetryAttempts': 0}}

AWS 콘솔창에서 IAM 대시보드에서 정책을 클릭하면 PolicyName인 pyFullAccess가 등록되어 있는 것을 확인할 수 있다.

AWS 개발환경 설정 - WSL2 & S3 & RDS

Thu, 26 May 2022 10:13:30 +0900

개요

윈도우 WSL2에서 AWS 개발을 위한 기본 개발환경 설정을 진행한다.

WSL2 설치

WSL2 설치 및 사용법은 다음 링크를 통해서 확인한다. (여기서 설치법은 다루지 않는다!)
- URL : https://www.lainyzine.com/ko/article/how-to-install-wsl2-and-use-linux-on-windows-10/

Restart WSL2

WSL2 처음 작업할 때, 실행한다.

exec $SHELL

WSL2 주요 필수 패키지 설치

Python 3.8 버전을 설치한다.

sudo apt update
sudo apt install software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt install python3.7

Python 버전은 다음과 같다.

$ python3 --version
Python 3.8.10

만약 Python 버전 변경이 안되면 전체 삭제하고 진행한다.

(옵션) Python 삭제

현재 설치된 모든 파이썬 버전을 보여줌

ls /usr/bin/python*

python3 버전과 관련된 모든 파일을 삭제함

sudo apt-get purge --auto-remove python3.8

awsebcli 설치 및 AWS CLI Configuration

awscli를 설치한다.

sudo apt install awscli

버전은 다음과 같다.

$ aws --version
aws-cli/1.18.69 Python/3.8.10 Linux/5.10.16.3-microsoft-standard-WSL2 botocore/1.16.19

IAM 사용자 추가

AWS 회원가입은 완료된 상태에서 시작한다.

Django with Elastic Beanstalk - Settings

Sun, 22 May 2022 10:13:30 +0900

한줄 요약

생각보다 쉽지 않기 때문에 Windows로 하기 보다는 WSL2로 하는 것을 권한다.
- 이 부분은 추후 업데이트 할 예정이다.

Windows에 EB CLI 설치

공식 문서 : https://docs.aws.amazon.com/ko_kr/elasticbeanstalk/latest/dg/eb-cli3-install-windows.html
우선 기존 아나콘다로 파이썬 환경이 구축되어 있다면, 아나콘다를 삭제하고 진행한다.
- 3.8 버전 이상으로 하면, 배포 시 생각보다 잘 되지 않을 가능성이 크다.
필자는 Python 버전도 3.7로 재 설치 했다.

C:\WINDOWS\system32>python --version
Python 3.7.4

C:\WINDOWS\system32>pip --version
pip 19.0.3 from c:\users\human\appdata\local\programs\python\python37-32\lib\site-packages\pip (python 3.7)

pip을 이용하여 EB CLI를 설치한다.

C:\Windows\System32> pip install awsebcli --upgrade --user

환경변수를 설정한다.
- Python 3.7 버전으로 설치 했다면, 아래 코드를 환경변수에 추가한다.

%USERPROFILE%\AppData\roaming\Python\Python37\scripts

[Python] 카카오톡 챗봇 오픈빌더를 활용한 사칙연산 계산기 구현

Mon, 16 May 2022 14:10:47 +0900

읽기 전 공지

본 글은 2022년 11월 28일까지만 유효합니다. 무료 버전이 사라지기 때문에, 앞으로 어떻게 될지는 현재 글 쓰는 시점에서는 모릅니다. 이 부분에 주의해서 참고 하시기를 바랍니다.

개요

카카오톡 챗봇 만들기를 Python + FLASK를 통해 간단한 튜토리얼을 만들어본다.

사전준비

OBT 참여승인을 받아야 한다.

기본설정

카카오톡 챗봇 버튼 클릭 후, 봇 이름 생성
- [봇 만들기] - [카카오톡 챗봇]

카카오톡 채널 연결을 진행한다.
virtualenv를 활용하여 가상환경을 설정한다.

$ virtualenv venv
created virtual environment CPython3.9.7.final.0-64 in 6029ms
  creator CPython3Windows(dest=C:\Users\human\Desktop\heroku-kakao-chatbot\venv, clear=False, no_vcs_ignore=False, global=False)
  seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy, app_data_dir=C:\Users\human\AppData\Local\pypa\virtualenv)
    added seed packages: pip==22.0.4, setuptools==62.1.0, wheel==0.37.1
  activators BashActivator,BatchActivator,FishActivator,NushellActivator,PowerShellActivator,PythonActivator

Heroku App 구축

간단하게 app 파일을 만들어 Heroku App URL을 확보해보자.
app/main.py

from flask import Flask
 
app = Flask(__name__)
 
@app.route('/')
def hello_world():
    return 'Hello, World!'

wsgi.py 생성
- app은 폴더를 말하고, main은 main.py를 말한다.

from app.main import app

if __name__ == "__main__":
    app.run(threaded=True, port=5000)

Procfile 파일 작성
- 카카오톡 챗봇에서는 포트번호를 입력을 해줘야 한다.
  - localhost:5000 처럼 명시적으로 입력해주는 것으로 생각하면 된다.

web: gunicorn --bind 0.0.0.0:$PORT wsgi:app

runtime.txt
- Python 버전을 업로드 한다.

python-3.9.7

Heroku login
- Heroku 배포 전에 반드시 로그인을 해야 한다.

$ heroku login

Heroku Project 생성
- 프로젝트 생성 시, 같은 이름이 있을 경우 다시 작성할 수도 있다.

$ heroku create heroku-kakao-chatbot

Heroku 배포
- Heroku에 배포하기 위해서는 크게 아래 코드만 기억한다.

$ git add .
$ git commit -am "your_message"
$ git push origin main ## Github Repository에 업데이트
$ git push heroku main ## Heroku 코드 배포

기존 Existing App과 연동하려면 배포 전 아래 코드를 선 실행 후, 배포를 진행한다.

$ heroku git:remote -a example-app

실행하면 아래와 같은 결과물이 나타난다.

스킬 서버 구축 기본편

스킬 서버에서 제공하는 2가지 API URI는 다음과 닽다.

Python Selenium Crawling Tutorial

Mon, 09 May 2022 20:10:30 +0900

강의소개

인프런에서 Streamlit 관련 강의를 진행하고 있습니다.
인프런 : https://inf.run/YPniH

개요

크롬 드라이버를 활용하여 Selenium을 설치한다.
네이버 평점에서 특정 영화(노트북)를 관람한 관람객이 영화에 댓글을 단 영화 수집

크롬 드라이버 설치

자신의 크롬 버전과 같은 버전을 설치한다.
- 오른쪽 상단에서 더보기를 클릭한다.
- 도움말 > Chrome 정보를 클릭한다.

django Web 개발 1 - 기본 설정

Sat, 07 May 2022 20:10:47 +0900

프로젝트 개요

Python Django로 To-do List를 만들어본다.

파이썬 설치

파이썬 설치는 Anaconda 또는 Python 홈페이지에서 직접 설치한다.
- Anaconda : https://www.anaconda.com/
- Python : https://www.python.org/

가상환경 설치

파이썬 설치가 끝났다면, 해당 깃허브를 다운로드 받는다.

$ git clone https://github.com/dschloe/django_to_do.git

django_to_do 폴더에 진입 후 아래와 같이 실행한다.

$ cd django_to_do
$ virtualenv venv
created virtual environment CPython3.9.7.final.0-64 in 7884ms     
  creator CPython3Windows(dest=C:\Users\human\Desktop\django_to_do\venv, clear=False, no_vcs_ignore=False, global=False)
  seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy, app_data_dir=C:\Users\human\AppData\Local\pypa\virtualenv)
    added seed packages: pip==22.0.4, setuptools==62.1.0, wheel==0.37.1
  activators BashActivator,BatchActivator,FishActivator,NushellActivator,PowerShellActivator,PythonActivator

실제 실행 후 venv 폴더가 나타나는지 확인한다.

$ ls
README.md  venv/

가상환경에 접속한다.

$ source venv/Scripts/activate
(venv)

환경 설정 Django

Installing Django

Django : https://www.djangoproject.com/
가상환경이 접속된 상태에서 django와 시간 계산을 위해 pytz를 설치한다.

$ pip install django pytz

my_app 폴더 생성

새로운 폴더 my_app 하나 생성 후 해당 경로에 접속한다.

$ mkdir my_app && cd my_app

djanog 개발 시작

이제 django 프로젝트를 시작한다.
django 설치 후, todo_app 폴더와 manage.py가 실행되는지 확인한다.

$ django-admin startproject todo_app .
$ ls
manage.py*  todo_app/

초기 화면 실행

my_app 폴더에서 서버를 구동시킨다.
- 접속 URL : http://127.0.0.1:8000/

$ python manage.py runserver

카카오톡 오픈 빌더 챗봇 만들기 1편

Sat, 30 Apr 2022 21:14:47 +0900

개요

카카오톡 오픈 빌더 챗봇을 만드는 과정을 보여준다.
회원가입이 필요할 수 있다.
카카오톡 채널을 만든다.

등록하기

구글 검색창에서 카카오톡 오픈 빌더를 검색한다..

로그인을 하도록 한다..

챗봇 관리자센터 OBT 참여 신청 메뉴가 나오는지 확인한다.

카카오톡 채널 관리자 가입

카카오톡 관리자 채널에서 새로운 채널을 만든다..
- URL : https://center-pf.kakao.com/
- 아래 화면에서 새 채널 만들기를 클릭한다.

채널을 개설한다.
- 프로필 사진, 소개글은 추후에 작성이 가능하다.
- 작성이 끝나면 확인 버튼을 클릭한다.

이상이 없다면, ‘네, 입력한 정보로 개설하겠습니다.’ 버튼을 클릭한다.

Visual Studio Code Oracle 연동

Tue, 26 Apr 2022 00:10:30 +0900

개요

VSCode에서 오라클을 연동하는 코드를 작성해본다.

Extension

Extension에서 Oracle을 검색 후, 설치를 진행한다.

설치 중간에 아래와 같은 문구가 나오면 해당 파일을 설치해야 한다.

필수 설치 파일

설치 URL은 다음과 같다.
- URL : https://www.oracle.com/database/technologies/appdev/dotnet/install-dotnetcore-windows.html

위 그림에서 Install .NET Runtime for Windows x64를 클릭하면 아래 화면과 함께 설치 파일이 다운로드 된다.

설치 파일을 클릭하면 아래와 같은 설치 관리자가 등장한다.

특별하게 고려할 것은 없다. 정상적으로 설치가 되면 아래와 같은 화면이 나오면 설치는 종료가 된 것이다.

PyCharm Oracle 연동

Mon, 25 Apr 2022 14:40:30 +0900

개요

PyCharm에서 Oracle과 연동하는 방법에 대해 작성한다.

Database Navigator 설치

Project 폴더에서 File - Settings - Plugins를 실행한다.
검색창에 Database를 입력한다.
- Database Navigator를 선택한다.
- 설치가 완료되면, Restart IDE 창이 활성화가 될 것이다.
- PyCharm을 재 시작한다.

DB Navigator 실행

상단 메뉴창에서 DB Navigator를 선택한다.

새로운 데이터베이스 버튼을 클릭한 후, Oracle을 선택한다.

필수 입력값을 입력 한 후, Test Connection을 실행하여 정상적으로 연동이 되었는지 확인한다.

SQL 테스트

이제 새로운 파일을 열고 쿼리 테스트를 진행해본다.

SQL Developer with Git

Sun, 24 Apr 2022 10:40:30 +0900

개요

SQL Developer에서 깃헙과 연동하는 방법을 알려준다.
깃허브 회원가입 및 깃 설치는 이미 된 것으로 가정한다.
새로운 Repository를 만든다.
- 필자는 oracle_lectures라는 Repository를 만들었다.

SQL Developer에서 필요한 작업

이제 SQL Developer 프로그램을 연다.
- 팀 - Git - 복제 순으로 순차적으로 연다.

아래 화면에서 다음을 클릭한다.

아래 화면에서 새로 생성한 URL, Username, Password를 순차적으로 입력한다.
- 이 때, Repo 생성 시, Private으로 되어 있었다면 인증 에러가 생길 수 있다. 그런 경우 Public으로 변경한다.

오라클 19c 기본 세팅

Sat, 23 Apr 2022 14:40:30 +0900

1단계 sqlplus 실행하기

설치가 끝난 후, 윈도우에서 sqlplus 입력
사용자명은 system, 비밀번호는 오라클 설치 시 (1234)]
주의 : 관리자로 실행

2단계 : 테이블스페이스 생성하기

테이블스페이스는 myts라는 이름으로 100MB 크기로 생성
만약 데이터가 증가하면 5MB씩 자동 증가 옵션 추가
생성 구문은 다음과 같음

SQL> CREATE TABLESPACE myts DATAFILE 'C:\oracle\oradata\MYORACLE\myts.dbf' SIZE 100M AUTOEXTEND ON NEXT 5M;
테이블스페이스가 생성되었습니다.

3단계 : 사용자 생성

사용자를 생성하는 코드를 작성한다.

SQL> CREATE USER ora_user IDENTIFIED BY evan DEFAULT TABLESPACE MYTS TEMPORARY TABLESPACE TEMP;
사용자가 생성되었습니다.

해당 사용자에게 롤(Role, 권한)을 부여해야 한다. 현 시점에서는 ‘ora_user’ 사용자에게 DBA라는 롤을 부여한다.
- 이 권한을 부여받으면 오라클에서 제공하는 웬만한 기능을 모두 사용한다.

SQL> GRANT DBA TO ora_user;
권한이 부여되었습니다.

4단계 : 사용자 계정으로 DB에 접속하기

ora_user로 접속한다.

SQL> connect ora_user/evan
연결되었습니다.

접속 후, select user from dual을 입력하면 현재 로그인한 사용자 이름이 출력된다.

SQL> select user from dual;
USER
--------------------------------------------------------------------------------
ORA_USER

SQL Developer 실행

설치 :
새 접속 화면이 나타나면 접속 이름, 사용자 이름을 ora_user로 입력, 비밀번호는 입력, SID 항목에는 처음 설치 시 이름인 myoracle을 입력하고 테스트를 실행한다.

오라클 삭제 - Windows

Fri, 22 Apr 2022 14:40:30 +0900

개요

오라클 설치가 제대로 안되는 경우가 왕왕 있다.
이럴 경우, 삭제 후 재설치하는 것을 권장한다.

1단계 : 오라클 서비스 중지시키기

제어판 - 시스템 및 보안 - 관리도구 - 서비스 메뉴를 실행해 Oracle로 시작되는 모든 서비를 중지시킨다.
또는 윈도우 검색창에서 서비스를 검색해도 앱에 접근할 수 있다.

2단계 : 삭제 시동 파일 실행하기

오라클 설치 폴더 - deinstall 폴더에서 deinstall.bat 파일을 관리자 권한으로 실행한다.
- 이름 목록 지정화면에서 설치 시 지정했던 전역데이터베이스 이름을 입력하고, 계속하겠습니까? 질문을 계속 한다면 Y를 입력한다.
- 또한, 사용된 저장 영역 입력 시 : FS를 입력한다.

Spark Tutorial - Web UI on WSL

Thu, 21 Apr 2022 12:30:47 +0900

개요

간단하게 Spark Tutorial을 활용하여 Web UI를 가동한다.
Spark Submit을 활용한다.

파이썬 가상환경

파이썬 가상환경을 작성한다. (필자의 경로는 pyskt_tutorial)

$ pwd
/mnt/c/hadoop/pyskt_tutorial

가상환경을 생성한다.

evan@evan:/mnt/c/hadoop/pyskt_tutorial$ virtualenv venv

생성된 가상환경에 접속한다.

evan@evan:/mnt/c/hadoop/pyskt_tutorial$ source venv/bin/activate
(venv) evan@evan:/mnt/c/hadoop/pyskt_tutorial$

PySpark 설치

pyspark를 설치한다.

(venv) evan@evan:/mnt/c/hadoop/pyskt_tutorial$ pip install pyspark
Requirement already satisfied: pyspark in ./venv/lib/python3.8/site-packages (3.2.1)
Requirement already satisfied: py4j==0.10.9.3 in ./venv/lib/python3.8/site-packages (from pyspark) (0.10.9.3)

데이터 생성

가상의 데이터를 생성한다.
소스파일과 구분 위해 data 폴더를 만든 후, 마크다운 파일을 하나 만들 것이다.

(venv) evan@evan:/mnt/c/hadoop/pyskt_tutorial$ mkdir data && cd data
(venv) evan@evan:/mnt/c/hadoop/pyskt_tutorial/data$ vi README.md

README.md 파일에서 영어 텍스트 아무거나 추가한다.
- 필자는 Spark 설명구문을 추가했다.

This program just counts the number of lines containing ‘a’ and the number containing ‘b’ in a text file. Note that you’ll need to replace YOUR_SPARK_HOME with the location where Spark is installed. As with the Scala and Java examples, we use a SparkSession to create Datasets. For applications that use custom classes or third-party libraries, we can also add code dependencies to spark-submit through its --py-files argument by packaging them into a .zip file (see spark-submit --help for details). SimpleApp is simple enough that we do not need to specify any code dependencies.

We can run this application using the bin/spark-submit script:

SimpleApp.py 작성

다음과 같은 파일을 작성한다.
- 구체적인 코드 설명은 생략한다.
- 중요한 코드 중 하나는 input( ) 이다. 사용자가 입력을 하지 않으면 spark 세션은 계속 열린상태로 남게 된다. (일종의 Trick)

from pyspark.sql import SparkSession

logFile = "data/README.md"  # Should be some file on your system
spark = SparkSession.builder.appName("SimpleApp").getOrCreate()
logData = spark.read.text(logFile).cache()

numAs = logData.filter(logData.value.contains('a')).count()
numBs = logData.filter(logData.value.contains('b')).count()

print("Lines with a: %i, lines with b: %i" % (numAs, numBs))

input("Typing....")

spark.stop()

Spark-Submit 제출

여기가 매우 중요한 파트이다.
보통 bin/spark-submitscript라 부르기도 한다.
- 자세한 설명은 다음 설명을 참조한다. https://spark.apache.org/docs/latest/submitting-applications.html

(venv) evan@evan:/mnt/c/hadoop/pyskt_tutorial$ $SPARK_HOME/bin/spark-submit --master local[4] /mnt/c/hadoop/pyskt_tutorial/SimpleApp.py

실행하면 아래와 같은 메시지가 뜰 것이다. 이 때, 주소를 복사한다.
- Using 172.17.233.202 주소를 복사한다. (이는 각 컴퓨터마다 다를 것이다!)

WSL2에서의 Spark 설치

Tue, 19 Apr 2022 12:30:47 +0900

개요

간단하게 PySpark를 설치해보는 과정을 작성한다.
WSL2 설치 방법은 다루지 않는다.

필수 파일 설치

자바 및 Spark 파일을 설치하도록 한다.

$ sudo apt-get install openjdk-8-jdk
$ sudo wget https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
$ sudo tar -xvzf spark-3.2.0-bin-hadoop3.2.tgz

.bashrc 파일 수정

필자의 현재 경로는 다음과 같다.

evan@evan:/mnt/c/hadoop$ pwd
/mnt/c/hadoop

설치한 파일은 다음과 같다.

evan@evan:/mnt/c/hadoop$ ls
spark-3.2.0-bin-hadoop3.2  spark-3.2.0-bin-hadoop3.2.tgz

vi ~/.bashrc 파일을 열고 다음과 같이 코드를 작성한다.
- 다른 코드는 만지지 않는다.
- 가장 맨 마지막으로 내려온다.

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_HOME=/mnt/c/hadoop/spark-3.2.0-bin-hadoop3.2
export PATH=$JAVA_HOME/bin:$PATH
export PATH=$SPARK_HOME/sbin:$PATH
export PYSPARK_PYTHON=/usr/bin/python3

테스트

pyspark를 실행한다. (경로에 주의한다)

evan@evan:/mnt/c/hadoop/spark-3.2.0-bin-hadoop3.2$ pwd
/mnt/c/hadoop/spark-3.2.0-bin-hadoop3.2
evan@evan:/mnt/c/hadoop/spark-3.2.0-bin-hadoop3.2$ pysaprk
Python 3.8.10 (default, Mar 15 2022, 12:22:08)
[GCC 9.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
22/04/19 19:39:57 WARN Utils: Your hostname, evan resolves to a loopback address: 127.0.1.1; using 172.17.233.202 instead (on interface eth0)
22/04/19 19:39:57 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
22/04/19 19:39:59 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 3.2.0
      /_/

Using Python version 3.8.10 (default, Mar 15 2022 12:22:08)
Spark context Web UI available at http://172.17.233.202:4040
Spark context available as 'sc' (master = local[*], app id = local-1650364801421).
SparkSession available as 'spark'.
>>> rd = sc.textFile("README.md")
>>> rd.count()
109

참조

Installation of Pyspark (All operating systems), https://www.datacamp.com/community/tutorials/installation-of-pyspark
Apache Spark 2.4.3 Installation on Windows 10 using Windows Subsystem for Linux, https://kontext.tech/article/311/apache-spark-243-installation-on-windows-10-using-windows-subsystem-for-linux

PyCaret Kaggle Notebook (Since April 10, 2022)

Mon, 18 Apr 2022 23:30:47 +0900

개요

PyCaret이 최근 업데이트 되면서 Kaggle에서 설치 오류가 뜨기 시작함.
- 메인 홈페이지 : https://pycaret.gitbook.io/docs/
해결책은 몇가지 있으나, 그 중 Downgrade 해서 설치 할 예정

캐글 대회 시작

캐글 노트북 시작을 하면 다음 코드가 나타난다. 다음 Cell부터 진행한다.

# This Python 3 environment comes with many helpful analytics libraries installed
# It is defined by the kaggle/python Docker image: https://github.com/kaggle/docker-python
# For example, here's several helpful packages to load

import numpy as np # linear algebra
import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)

# Input data files are available in the read-only "../input/" directory
# For example, running this (by clicking run or pressing Shift+Enter) will list all files under the input directory

import os
for dirname, _, filenames in os.walk('/kaggle/input'):
    for filename in filenames:
        print(os.path.join(dirname, filename))

# You can write up to 20GB to the current directory (/kaggle/working/) that gets preserved as output when you create a version using "Save & Run All" 
# You can also write temporary files to /kaggle/temp/, but they won't be saved outside of the current session

/kaggle/input/tabular-playground-series-apr-2022/sample_submission.csv
/kaggle/input/tabular-playground-series-apr-2022/train_labels.csv
/kaggle/input/tabular-playground-series-apr-2022/train.csv
/kaggle/input/tabular-playground-series-apr-2022/test.csv

라이브러리 Downgrade

설치하려고 하는 Library는 PyCaret 2.3.5 버전임 (4월 10일 기준 2.3.10 버전)
Scikit-Learn 최신 버전은 1.0대 버전임
이를 낮춰서 진행할 것임

!pip install numpy==1.19.5
!pip install matplotlib==3.4.0
!pip install scikit-learn==0.23.2
!pip install pycaret==2.3.5

Collecting numpy==1.19.5
  Downloading numpy-1.19.5-cp37-cp37m-manylinux2010_x86_64.whl (14.8 MB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m14.8/14.8 MB[0m [31m33.0 MB/s[0m eta [36m0:00:00[0m
[?25hInstalling collected packages: numpy
  Attempting uninstall: numpy
    Found existing installation: numpy 1.21.5
    Uninstalling numpy-1.21.5:
      Successfully uninstalled numpy-1.21.5
[31mERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
tensorflow-io 0.21.0 requires tensorflow-io-gcs-filesystem==0.21.0, which is not installed.
beatrix-jupyterlab 3.1.7 requires google-cloud-bigquery-storage, which is not installed.
thinc 8.0.15 requires typing-extensions<4.0.0.0,>=3.7.4.1; python_version < "3.8", but you have typing-extensions 4.1.1 which is incompatible.
tfx-bsl 1.7.0 requires pyarrow<6,>=1, but you have pyarrow 7.0.0 which is incompatible.
tfx-bsl 1.7.0 requires tensorflow!=2.0.*,!=2.1.*,!=2.2.*,!=2.3.*,!=2.4.*,!=2.5.*,!=2.6.*,!=2.7.*,<3,>=1.15.5, but you have tensorflow 2.6.3 which is incompatible.
tensorflow 2.6.3 requires absl-py~=0.10, but you have absl-py 1.0.0 which is incompatible.
tensorflow 2.6.3 requires six~=1.15.0, but you have six 1.16.0 which is incompatible.
tensorflow 2.6.3 requires typing-extensions<3.11,>=3.7, but you have typing-extensions 4.1.1 which is incompatible.
tensorflow 2.6.3 requires wrapt~=1.12.1, but you have wrapt 1.14.0 which is incompatible.
tensorflow-transform 1.7.0 requires pyarrow<6,>=1, but you have pyarrow 7.0.0 which is incompatible.
tensorflow-transform 1.7.0 requires tensorflow!=2.0.*,!=2.1.*,!=2.2.*,!=2.3.*,!=2.4.*,!=2.5.*,!=2.6.*,!=2.7.*,<2.9,>=1.15.5, but you have tensorflow 2.6.3 which is incompatible.
tensorflow-serving-api 2.8.0 requires tensorflow<3,>=2.8.0, but you have tensorflow 2.6.3 which is incompatible.
spacy 3.2.4 requires typing-extensions<4.0.0.0,>=3.7.4; python_version < "3.8", but you have typing-extensions 4.1.1 which is incompatible.
pdpbox 0.2.1 requires matplotlib==3.1.1, but you have matplotlib 3.5.1 which is incompatible.
imageio 2.16.1 requires numpy>=1.20.0, but you have numpy 1.19.5 which is incompatible.
featuretools 1.8.0 requires numpy>=1.21.0, but you have numpy 1.19.5 which is incompatible.
apache-beam 2.37.0 requires dill<0.3.2,>=0.3.1.1, but you have dill 0.3.4 which is incompatible.
apache-beam 2.37.0 requires httplib2<0.20.0,>=0.8, but you have httplib2 0.20.4 which is incompatible.
apache-beam 2.37.0 requires pyarrow<7.0.0,>=0.15.1, but you have pyarrow 7.0.0 which is incompatible.[0m[31m
[0mSuccessfully installed numpy-1.19.5
[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv[0m[33m
[0mCollecting matplotlib==3.4.0
  Downloading matplotlib-3.4.0-cp37-cp37m-manylinux1_x86_64.whl (10.3 MB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m10.3/10.3 MB[0m [31m21.5 MB/s[0m eta [36m0:00:00[0m
[?25hRequirement already satisfied: pyparsing>=2.2.1 in /opt/conda/lib/python3.7/site-packages (from matplotlib==3.4.0) (3.0.7)
Requirement already satisfied: kiwisolver>=1.0.1 in /opt/conda/lib/python3.7/site-packages (from matplotlib==3.4.0) (1.4.0)
Requirement already satisfied: numpy>=1.16 in /opt/conda/lib/python3.7/site-packages (from matplotlib==3.4.0) (1.19.5)
Requirement already satisfied: python-dateutil>=2.7 in /opt/conda/lib/python3.7/site-packages (from matplotlib==3.4.0) (2.8.2)
Requirement already satisfied: cycler>=0.10 in /opt/conda/lib/python3.7/site-packages (from matplotlib==3.4.0) (0.11.0)
Requirement already satisfied: pillow>=6.2.0 in /opt/conda/lib/python3.7/site-packages (from matplotlib==3.4.0) (9.0.1)
Requirement already satisfied: typing-extensions in /opt/conda/lib/python3.7/site-packages (from kiwisolver>=1.0.1->matplotlib==3.4.0) (4.1.1)
Requirement already satisfied: six>=1.5 in /opt/conda/lib/python3.7/site-packages (from python-dateutil>=2.7->matplotlib==3.4.0) (1.16.0)
Installing collected packages: matplotlib
  Attempting uninstall: matplotlib
    Found existing installation: matplotlib 3.5.1
    Uninstalling matplotlib-3.5.1:
      Successfully uninstalled matplotlib-3.5.1
[31mERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
beatrix-jupyterlab 3.1.7 requires google-cloud-bigquery-storage, which is not installed.
pdpbox 0.2.1 requires matplotlib==3.1.1, but you have matplotlib 3.4.0 which is incompatible.[0m[31m
[0mSuccessfully installed matplotlib-3.4.0
[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv[0m[33m
[0mCollecting scikit-learn==0.23.2
  Downloading scikit_learn-0.23.2-cp37-cp37m-manylinux1_x86_64.whl (6.8 MB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m6.8/6.8 MB[0m [31m14.8 MB/s[0m eta [36m0:00:00[0m
[?25hRequirement already satisfied: scipy>=0.19.1 in /opt/conda/lib/python3.7/site-packages (from scikit-learn==0.23.2) (1.7.3)
Requirement already satisfied: joblib>=0.11 in /opt/conda/lib/python3.7/site-packages (from scikit-learn==0.23.2) (1.0.1)
Requirement already satisfied: numpy>=1.13.3 in /opt/conda/lib/python3.7/site-packages (from scikit-learn==0.23.2) (1.19.5)
Requirement already satisfied: threadpoolctl>=2.0.0 in /opt/conda/lib/python3.7/site-packages (from scikit-learn==0.23.2) (3.1.0)
Installing collected packages: scikit-learn
  Attempting uninstall: scikit-learn
    Found existing installation: scikit-learn 1.0.2
    Uninstalling scikit-learn-1.0.2:
      Successfully uninstalled scikit-learn-1.0.2
[31mERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
yellowbrick 1.4 requires scikit-learn>=1.0.0, but you have scikit-learn 0.23.2 which is incompatible.
pdpbox 0.2.1 requires matplotlib==3.1.1, but you have matplotlib 3.4.0 which is incompatible.
imbalanced-learn 0.9.0 requires scikit-learn>=1.0.1, but you have scikit-learn 0.23.2 which is incompatible.
hypertools 0.8.0 requires scikit-learn>=0.24, but you have scikit-learn 0.23.2 which is incompatible.
featuretools 1.8.0 requires numpy>=1.21.0, but you have numpy 1.19.5 which is incompatible.[0m[31m
[0mSuccessfully installed scikit-learn-0.23.2
[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv[0m[33m
[0mCollecting pycaret==2.3.5
  Downloading pycaret-2.3.5-py3-none-any.whl (288 kB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m288.6/288.6 KB[0m [31m1.6 MB/s[0m eta [36m0:00:00[0m
[?25hRequirement already satisfied: ipywidgets in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (7.6.5)
Requirement already satisfied: pyLDAvis in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (3.2.2)
Requirement already satisfied: pandas in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (1.3.5)
Collecting scipy<=1.5.4
  Downloading scipy-1.5.4-cp37-cp37m-manylinux1_x86_64.whl (25.9 MB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m25.9/25.9 MB[0m [31m30.0 MB/s[0m eta [36m0:00:00[0m
[?25hRequirement already satisfied: nltk in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (3.2.4)
Requirement already satisfied: IPython in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (7.32.0)
Collecting spacy<2.4.0
  Downloading spacy-2.3.7-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (10.4 MB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m10.4/10.4 MB[0m [31m41.9 MB/s[0m eta [36m0:00:00[0m
[?25hRequirement already satisfied: lightgbm>=2.3.1 in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (3.3.1)
Requirement already satisfied: yellowbrick>=1.0.1 in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (1.4)
Requirement already satisfied: textblob in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (0.17.1)
Requirement already satisfied: plotly>=4.4.1 in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (5.7.0)
Requirement already satisfied: scikit-plot in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (0.3.7)
Requirement already satisfied: umap-learn in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (0.5.2)
Collecting gensim<4.0.0
  Downloading gensim-3.8.3-cp37-cp37m-manylinux1_x86_64.whl (24.2 MB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m24.2/24.2 MB[0m [31m28.5 MB/s[0m eta [36m0:00:00[0m
[?25hRequirement already satisfied: Boruta in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (0.3)
Requirement already satisfied: matplotlib in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (3.4.0)
Requirement already satisfied: pandas-profiling>=2.8.0 in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (3.1.0)
Collecting imbalanced-learn==0.7.0
  Downloading imbalanced_learn-0.7.0-py3-none-any.whl (167 kB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m167.1/167.1 KB[0m [31m14.8 MB/s[0m eta [36m0:00:00[0m
[?25hCollecting mlflow
  Downloading mlflow-1.25.1-py3-none-any.whl (16.8 MB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m16.8/16.8 MB[0m [31m33.2 MB/s[0m eta [36m0:00:00[0m
[?25hCollecting pyod
  Downloading pyod-0.9.9.tar.gz (116 kB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m116.4/116.4 KB[0m [31m10.8 MB/s[0m eta [36m0:00:00[0m
[?25h  Preparing metadata (setup.py) ... [?25ldone
[?25hRequirement already satisfied: kmodes>=0.10.1 in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (0.12.0)
Requirement already satisfied: wordcloud in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (1.8.1)
Requirement already satisfied: joblib in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (1.0.1)
Requirement already satisfied: numpy==1.19.5 in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (1.19.5)
Requirement already satisfied: seaborn in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (0.11.2)
Requirement already satisfied: mlxtend>=0.17.0 in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (0.19.0)
Requirement already satisfied: scikit-learn==0.23.2 in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (0.23.2)
Requirement already satisfied: cufflinks>=0.17.0 in /opt/conda/lib/python3.7/site-packages (from pycaret==2.3.5) (0.17.3)
Requirement already satisfied: threadpoolctl>=2.0.0 in /opt/conda/lib/python3.7/site-packages (from scikit-learn==0.23.2->pycaret==2.3.5) (3.1.0)
Requirement already satisfied: setuptools>=34.4.1 in /opt/conda/lib/python3.7/site-packages (from cufflinks>=0.17.0->pycaret==2.3.5) (59.8.0)
Requirement already satisfied: colorlover>=0.2.1 in /opt/conda/lib/python3.7/site-packages (from cufflinks>=0.17.0->pycaret==2.3.5) (0.3.0)
Requirement already satisfied: six>=1.9.0 in /opt/conda/lib/python3.7/site-packages (from cufflinks>=0.17.0->pycaret==2.3.5) (1.16.0)
Requirement already satisfied: smart-open>=1.8.1 in /opt/conda/lib/python3.7/site-packages (from gensim<4.0.0->pycaret==2.3.5) (5.2.1)
Requirement already satisfied: pickleshare in /opt/conda/lib/python3.7/site-packages (from IPython->pycaret==2.3.5) (0.7.5)
Requirement already satisfied: backcall in /opt/conda/lib/python3.7/site-packages (from IPython->pycaret==2.3.5) (0.2.0)
Requirement already satisfied: traitlets>=4.2 in /opt/conda/lib/python3.7/site-packages (from IPython->pycaret==2.3.5) (5.1.1)
Requirement already satisfied: pexpect>4.3 in /opt/conda/lib/python3.7/site-packages (from IPython->pycaret==2.3.5) (4.8.0)
Requirement already satisfied: prompt-toolkit!=3.0.0,!=3.0.1,<3.1.0,>=2.0.0 in /opt/conda/lib/python3.7/site-packages (from IPython->pycaret==2.3.5) (3.0.27)
Requirement already satisfied: pygments in /opt/conda/lib/python3.7/site-packages (from IPython->pycaret==2.3.5) (2.11.2)
Requirement already satisfied: jedi>=0.16 in /opt/conda/lib/python3.7/site-packages (from IPython->pycaret==2.3.5) (0.18.1)
Requirement already satisfied: decorator in /opt/conda/lib/python3.7/site-packages (from IPython->pycaret==2.3.5) (5.1.1)
Requirement already satisfied: matplotlib-inline in /opt/conda/lib/python3.7/site-packages (from IPython->pycaret==2.3.5) (0.1.3)
Requirement already satisfied: ipython-genutils~=0.2.0 in /opt/conda/lib/python3.7/site-packages (from ipywidgets->pycaret==2.3.5) (0.2.0)
Requirement already satisfied: jupyterlab-widgets>=1.0.0 in /opt/conda/lib/python3.7/site-packages (from ipywidgets->pycaret==2.3.5) (1.0.2)
Requirement already satisfied: widgetsnbextension~=3.5.0 in /opt/conda/lib/python3.7/site-packages (from ipywidgets->pycaret==2.3.5) (3.5.2)
Requirement already satisfied: nbformat>=4.2.0 in /opt/conda/lib/python3.7/site-packages (from ipywidgets->pycaret==2.3.5) (5.2.0)
Requirement already satisfied: ipykernel>=4.5.1 in /opt/conda/lib/python3.7/site-packages (from ipywidgets->pycaret==2.3.5) (6.9.2)
Requirement already satisfied: wheel in /opt/conda/lib/python3.7/site-packages (from lightgbm>=2.3.1->pycaret==2.3.5) (0.37.1)
Requirement already satisfied: pillow>=6.2.0 in /opt/conda/lib/python3.7/site-packages (from matplotlib->pycaret==2.3.5) (9.0.1)
Requirement already satisfied: python-dateutil>=2.7 in /opt/conda/lib/python3.7/site-packages (from matplotlib->pycaret==2.3.5) (2.8.2)
Requirement already satisfied: kiwisolver>=1.0.1 in /opt/conda/lib/python3.7/site-packages (from matplotlib->pycaret==2.3.5) (1.4.0)
Requirement already satisfied: pyparsing>=2.2.1 in /opt/conda/lib/python3.7/site-packages (from matplotlib->pycaret==2.3.5) (3.0.7)
Requirement already satisfied: cycler>=0.10 in /opt/conda/lib/python3.7/site-packages (from matplotlib->pycaret==2.3.5) (0.11.0)
Requirement already satisfied: pytz>=2017.3 in /opt/conda/lib/python3.7/site-packages (from pandas->pycaret==2.3.5) (2021.3)
Requirement already satisfied: visions[type_image_path]==0.7.4 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (0.7.4)
Requirement already satisfied: jinja2>=2.11.1 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (3.1.1)
Requirement already satisfied: phik>=0.11.1 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (0.12.0)
Requirement already satisfied: requests>=2.24.0 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (2.27.1)
Requirement already satisfied: pydantic>=1.8.1 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (1.8.2)
Requirement already satisfied: markupsafe~=2.0.1 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (2.0.1)
Requirement already satisfied: htmlmin>=0.1.12 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (0.1.12)
Requirement already satisfied: tqdm>=4.48.2 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (4.63.0)
Requirement already satisfied: multimethod>=1.4 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (1.4)
Requirement already satisfied: PyYAML>=5.0.0 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (6.0)
Requirement already satisfied: tangled-up-in-unicode==0.1.0 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (0.1.0)
Requirement already satisfied: missingno>=0.4.2 in /opt/conda/lib/python3.7/site-packages (from pandas-profiling>=2.8.0->pycaret==2.3.5) (0.4.2)
Requirement already satisfied: attrs>=19.3.0 in /opt/conda/lib/python3.7/site-packages (from visions[type_image_path]==0.7.4->pandas-profiling>=2.8.0->pycaret==2.3.5) (21.4.0)
Requirement already satisfied: networkx>=2.4 in /opt/conda/lib/python3.7/site-packages (from visions[type_image_path]==0.7.4->pandas-profiling>=2.8.0->pycaret==2.3.5) (2.5)
Requirement already satisfied: imagehash in /opt/conda/lib/python3.7/site-packages (from visions[type_image_path]==0.7.4->pandas-profiling>=2.8.0->pycaret==2.3.5) (4.2.1)
Requirement already satisfied: tenacity>=6.2.0 in /opt/conda/lib/python3.7/site-packages (from plotly>=4.4.1->pycaret==2.3.5) (8.0.1)
Collecting catalogue<1.1.0,>=0.0.7
  Downloading catalogue-1.0.0-py2.py3-none-any.whl (7.7 kB)
Requirement already satisfied: wasabi<1.1.0,>=0.4.0 in /opt/conda/lib/python3.7/site-packages (from spacy<2.4.0->pycaret==2.3.5) (0.9.1)
Collecting thinc<7.5.0,>=7.4.1
  Downloading thinc-7.4.5-cp37-cp37m-manylinux2014_x86_64.whl (1.0 MB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m1.0/1.0 MB[0m [31m49.3 MB/s[0m eta [36m0:00:00[0m
[?25hRequirement already satisfied: murmurhash<1.1.0,>=0.28.0 in /opt/conda/lib/python3.7/site-packages (from spacy<2.4.0->pycaret==2.3.5) (1.0.6)
Requirement already satisfied: blis<0.8.0,>=0.4.0 in /opt/conda/lib/python3.7/site-packages (from spacy<2.4.0->pycaret==2.3.5) (0.7.7)
Collecting plac<1.2.0,>=0.9.6
  Downloading plac-1.1.3-py2.py3-none-any.whl (20 kB)
Requirement already satisfied: cymem<2.1.0,>=2.0.2 in /opt/conda/lib/python3.7/site-packages (from spacy<2.4.0->pycaret==2.3.5) (2.0.6)
Collecting srsly<1.1.0,>=1.0.2
  Downloading srsly-1.0.5-cp37-cp37m-manylinux2014_x86_64.whl (184 kB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m184.3/184.3 KB[0m [31m16.8 MB/s[0m eta [36m0:00:00[0m
[?25hRequirement already satisfied: preshed<3.1.0,>=3.0.2 in /opt/conda/lib/python3.7/site-packages (from spacy<2.4.0->pycaret==2.3.5) (3.0.6)
Collecting yellowbrick>=1.0.1
  Downloading yellowbrick-1.3.post1-py3-none-any.whl (271 kB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m271.4/271.4 KB[0m [31m22.2 MB/s[0m eta [36m0:00:00[0m
[?25hRequirement already satisfied: alembic in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (1.7.7)
Requirement already satisfied: Flask in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (2.1.1)
Collecting gunicorn
  Downloading gunicorn-20.1.0-py3-none-any.whl (79 kB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m79.5/79.5 KB[0m [31m7.9 MB/s[0m eta [36m0:00:00[0m
[?25hRequirement already satisfied: importlib-metadata!=4.7.0,>=3.7.0 in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (4.11.3)
Collecting querystring-parser
  Downloading querystring_parser-1.2.4-py2.py3-none-any.whl (7.9 kB)
Requirement already satisfied: docker>=4.0.0 in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (5.0.3)
Requirement already satisfied: sqlparse>=0.3.1 in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (0.4.2)
Requirement already satisfied: gitpython>=2.1.0 in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (3.1.27)
Requirement already satisfied: protobuf>=3.7.0 in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (3.19.4)
Requirement already satisfied: packaging in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (21.3)
Requirement already satisfied: click>=7.0 in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (8.0.4)
Collecting prometheus-flask-exporter
  Downloading prometheus_flask_exporter-0.20.1-py3-none-any.whl (18 kB)
Requirement already satisfied: entrypoints in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (0.4)
Collecting databricks-cli>=0.8.7
  Downloading databricks-cli-0.16.6.tar.gz (62 kB)
[2K     [90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━[0m [32m62.2/62.2 KB[0m [31m5.8 MB/s[0m eta [36m0:00:00[0m
[?25h  Preparing metadata (setup.py) ... [?25ldone
[?25hRequirement already satisfied: cloudpickle in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (2.0.0)
Requirement already satisfied: sqlalchemy in /opt/conda/lib/python3.7/site-packages (from mlflow->pycaret==2.3.5) (1.4.32)
Requirement already satisfied: future in /opt/conda/lib/python3.7/site-packages (from pyLDAvis->pycaret==2.3.5) (0.18.2)
Requirement already satisfied: funcy in /opt/conda/lib/python3.7/site-packages (from pyLDAvis->pycaret==2.3.5) (1.17)
Requirement already satisfied: numexpr in /opt/conda/lib/python3.7/site-packages (from pyLDAvis->pycaret==2.3.5) (2.8.1)
Requirement already satisfied: numba>=0.35 in /opt/conda/lib/python3.7/site-packages (from pyod->pycaret==2.3.5) (0.55.1)
Requirement already satisfied: statsmodels in /opt/conda/lib/python3.7/site-packages (from pyod->pycaret==2.3.5) (0.13.2)
Requirement already satisfied: pynndescent>=0.5 in /opt/conda/lib/python3.7/site-packages (from umap-learn->pycaret==2.3.5) (0.5.6)
Requirement already satisfied: pyjwt>=1.7.0 in /opt/conda/lib/python3.7/site-packages (from databricks-cli>=0.8.7->mlflow->pycaret==2.3.5) (2.3.0)
Requirement already satisfied: oauthlib>=3.1.0 in /opt/conda/lib/python3.7/site-packages (from databricks-cli>=0.8.7->mlflow->pycaret==2.3.5) (3.2.0)
Requirement already satisfied: tabulate>=0.7.7 in /opt/conda/lib/python3.7/site-packages (from databricks-cli>=0.8.7->mlflow->pycaret==2.3.5) (0.8.9)
Requirement already satisfied: websocket-client>=0.32.0 in /opt/conda/lib/python3.7/site-packages (from docker>=4.0.0->mlflow->pycaret==2.3.5) (1.3.1)
Requirement already satisfied: typing-extensions>=3.7.4.3 in /opt/conda/lib/python3.7/site-packages (from gitpython>=2.1.0->mlflow->pycaret==2.3.5) (4.1.1)
Requirement already satisfied: gitdb<5,>=4.0.1 in /opt/conda/lib/python3.7/site-packages (from gitpython>=2.1.0->mlflow->pycaret==2.3.5) (4.0.9)
Requirement already satisfied: zipp>=0.5 in /opt/conda/lib/python3.7/site-packages (from importlib-metadata!=4.7.0,>=3.7.0->mlflow->pycaret==2.3.5) (3.7.0)
Requirement already satisfied: psutil in /opt/conda/lib/python3.7/site-packages (from ipykernel>=4.5.1->ipywidgets->pycaret==2.3.5) (5.9.0)
Requirement already satisfied: debugpy<2.0,>=1.0.0 in /opt/conda/lib/python3.7/site-packages (from ipykernel>=4.5.1->ipywidgets->pycaret==2.3.5) (1.5.1)
Requirement already satisfied: tornado<7.0,>=4.2 in /opt/conda/lib/python3.7/site-packages (from ipykernel>=4.5.1->ipywidgets->pycaret==2.3.5) (6.1)
Requirement already satisfied: jupyter-client<8.0 in /opt/conda/lib/python3.7/site-packages (from ipykernel>=4.5.1->ipywidgets->pycaret==2.3.5) (7.1.2)
Requirement already satisfied: nest-asyncio in /opt/conda/lib/python3.7/site-packages (from ipykernel>=4.5.1->ipywidgets->pycaret==2.3.5) (1.5.4)
Requirement already satisfied: parso<0.9.0,>=0.8.0 in /opt/conda/lib/python3.7/site-packages (from jedi>=0.16->IPython->pycaret==2.3.5) (0.8.3)
Requirement already satisfied: jsonschema!=2.5.0,>=2.4 in /opt/conda/lib/python3.7/site-packages (from nbformat>=4.2.0->ipywidgets->pycaret==2.3.5) (4.4.0)
Requirement already satisfied: jupyter-core in /opt/conda/lib/python3.7/site-packages (from nbformat>=4.2.0->ipywidgets->pycaret==2.3.5) (4.9.2)
Requirement already satisfied: llvmlite<0.39,>=0.38.0rc1 in /opt/conda/lib/python3.7/site-packages (from numba>=0.35->pyod->pycaret==2.3.5) (0.38.0)
Requirement already satisfied: ptyprocess>=0.5 in /opt/conda/lib/python3.7/site-packages (from pexpect>4.3->IPython->pycaret==2.3.5) (0.7.0)
Requirement already satisfied: wcwidth in /opt/conda/lib/python3.7/site-packages (from prompt-toolkit!=3.0.0,!=3.0.1,<3.1.0,>=2.0.0->IPython->pycaret==2.3.5) (0.2.5)
Requirement already satisfied: urllib3<1.27,>=1.21.1 in /opt/conda/lib/python3.7/site-packages (from requests>=2.24.0->pandas-profiling>=2.8.0->pycaret==2.3.5) (1.26.8)
Requirement already satisfied: certifi>=2017.4.17 in /opt/conda/lib/python3.7/site-packages (from requests>=2.24.0->pandas-profiling>=2.8.0->pycaret==2.3.5) (2021.10.8)
Requirement already satisfied: charset-normalizer~=2.0.0 in /opt/conda/lib/python3.7/site-packages (from requests>=2.24.0->pandas-profiling>=2.8.0->pycaret==2.3.5) (2.0.12)
Requirement already satisfied: idna<4,>=2.5 in /opt/conda/lib/python3.7/site-packages (from requests>=2.24.0->pandas-profiling>=2.8.0->pycaret==2.3.5) (3.3)
Requirement already satisfied: notebook>=4.4.1 in /opt/conda/lib/python3.7/site-packages (from widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (6.4.10)
Requirement already satisfied: importlib-resources in /opt/conda/lib/python3.7/site-packages (from alembic->mlflow->pycaret==2.3.5) (5.4.0)
Requirement already satisfied: Mako in /opt/conda/lib/python3.7/site-packages (from alembic->mlflow->pycaret==2.3.5) (1.2.0)
Requirement already satisfied: greenlet!=0.4.17 in /opt/conda/lib/python3.7/site-packages (from sqlalchemy->mlflow->pycaret==2.3.5) (1.1.2)
Requirement already satisfied: Werkzeug>=2.0 in /opt/conda/lib/python3.7/site-packages (from Flask->mlflow->pycaret==2.3.5) (2.0.3)
Requirement already satisfied: itsdangerous>=2.0 in /opt/conda/lib/python3.7/site-packages (from Flask->mlflow->pycaret==2.3.5) (2.1.2)
Requirement already satisfied: prometheus-client in /opt/conda/lib/python3.7/site-packages (from prometheus-flask-exporter->mlflow->pycaret==2.3.5) (0.13.1)
Requirement already satisfied: patsy>=0.5.2 in /opt/conda/lib/python3.7/site-packages (from statsmodels->pyod->pycaret==2.3.5) (0.5.2)
Requirement already satisfied: smmap<6,>=3.0.1 in /opt/conda/lib/python3.7/site-packages (from gitdb<5,>=4.0.1->gitpython>=2.1.0->mlflow->pycaret==2.3.5) (3.0.5)
Requirement already satisfied: pyrsistent!=0.17.0,!=0.17.1,!=0.17.2,>=0.14.0 in /opt/conda/lib/python3.7/site-packages (from jsonschema!=2.5.0,>=2.4->nbformat>=4.2.0->ipywidgets->pycaret==2.3.5) (0.18.1)
Requirement already satisfied: pyzmq>=13 in /opt/conda/lib/python3.7/site-packages (from jupyter-client<8.0->ipykernel>=4.5.1->ipywidgets->pycaret==2.3.5) (22.3.0)
Requirement already satisfied: terminado>=0.8.3 in /opt/conda/lib/python3.7/site-packages (from notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (0.13.3)
Requirement already satisfied: argon2-cffi in /opt/conda/lib/python3.7/site-packages (from notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (21.3.0)
Requirement already satisfied: Send2Trash>=1.8.0 in /opt/conda/lib/python3.7/site-packages (from notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (1.8.0)
Requirement already satisfied: nbconvert>=5 in /opt/conda/lib/python3.7/site-packages (from notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (6.5.0)
Requirement already satisfied: PyWavelets in /opt/conda/lib/python3.7/site-packages (from imagehash->visions[type_image_path]==0.7.4->pandas-profiling>=2.8.0->pycaret==2.3.5) (1.3.0)
Requirement already satisfied: jupyterlab-pygments in /opt/conda/lib/python3.7/site-packages (from nbconvert>=5->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (0.1.2)
Requirement already satisfied: mistune<2,>=0.8.1 in /opt/conda/lib/python3.7/site-packages (from nbconvert>=5->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (0.8.4)
Requirement already satisfied: nbclient>=0.5.0 in /opt/conda/lib/python3.7/site-packages (from nbconvert>=5->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (0.5.13)
Requirement already satisfied: defusedxml in /opt/conda/lib/python3.7/site-packages (from nbconvert>=5->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (0.7.1)
Requirement already satisfied: pandocfilters>=1.4.1 in /opt/conda/lib/python3.7/site-packages (from nbconvert>=5->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (1.5.0)
Requirement already satisfied: bleach in /opt/conda/lib/python3.7/site-packages (from nbconvert>=5->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (4.1.0)
Requirement already satisfied: tinycss2 in /opt/conda/lib/python3.7/site-packages (from nbconvert>=5->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (1.1.1)
Requirement already satisfied: beautifulsoup4 in /opt/conda/lib/python3.7/site-packages (from nbconvert>=5->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (4.10.0)
Requirement already satisfied: argon2-cffi-bindings in /opt/conda/lib/python3.7/site-packages (from argon2-cffi->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (21.2.0)
Requirement already satisfied: cffi>=1.0.1 in /opt/conda/lib/python3.7/site-packages (from argon2-cffi-bindings->argon2-cffi->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (1.15.0)
Requirement already satisfied: soupsieve>1.2 in /opt/conda/lib/python3.7/site-packages (from beautifulsoup4->nbconvert>=5->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (2.3.1)
Requirement already satisfied: webencodings in /opt/conda/lib/python3.7/site-packages (from bleach->nbconvert>=5->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (0.5.1)
Requirement already satisfied: pycparser in /opt/conda/lib/python3.7/site-packages (from cffi>=1.0.1->argon2-cffi-bindings->argon2-cffi->notebook>=4.4.1->widgetsnbextension~=3.5.0->ipywidgets->pycaret==2.3.5) (2.21)
Building wheels for collected packages: pyod, databricks-cli
  Building wheel for pyod (setup.py) ... [?25ldone
[?25h  Created wheel for pyod: filename=pyod-0.9.9-py3-none-any.whl size=139325 sha256=d0a36e8fd0573bc188a9e8f06c62d07c3ca5c12d5e2466310139677ba7731700
  Stored in directory: /root/.cache/pip/wheels/68/32/f0/0dc3050775e77b6661a116b70817b02b4305fa253269d6d998
  Building wheel for databricks-cli (setup.py) ... [?25ldone
[?25h  Created wheel for databricks-cli: filename=databricks_cli-0.16.6-py3-none-any.whl size=112631 sha256=3ae75cdf238ec349a4cf775a5fd33709acb1b17e8f1c1265eb3de4fe7c88fa22
  Stored in directory: /root/.cache/pip/wheels/96/c1/f8/d75a22e789ab6a4dff11f18338c3af4360189aa371295cc934
Successfully built pyod databricks-cli
Installing collected packages: srsly, plac, scipy, querystring-parser, gunicorn, gensim, catalogue, yellowbrick, thinc, imbalanced-learn, databricks-cli, spacy, pyod, prometheus-flask-exporter, mlflow, pycaret
  Attempting uninstall: srsly
    Found existing installation: srsly 2.4.2
    Uninstalling srsly-2.4.2:
      Successfully uninstalled srsly-2.4.2
  Attempting uninstall: scipy
    Found existing installation: scipy 1.7.3
    Uninstalling scipy-1.7.3:
      Successfully uninstalled scipy-1.7.3
  Attempting uninstall: gensim
    Found existing installation: gensim 4.0.1
    Uninstalling gensim-4.0.1:
      Successfully uninstalled gensim-4.0.1
  Attempting uninstall: catalogue
    Found existing installation: catalogue 2.0.7
    Uninstalling catalogue-2.0.7:
      Successfully uninstalled catalogue-2.0.7
  Attempting uninstall: yellowbrick
    Found existing installation: yellowbrick 1.4
    Uninstalling yellowbrick-1.4:
      Successfully uninstalled yellowbrick-1.4
  Attempting uninstall: thinc
    Found existing installation: thinc 8.0.15
    Uninstalling thinc-8.0.15:
      Successfully uninstalled thinc-8.0.15
  Attempting uninstall: imbalanced-learn
    Found existing installation: imbalanced-learn 0.9.0
    Uninstalling imbalanced-learn-0.9.0:
      Successfully uninstalled imbalanced-learn-0.9.0
  Attempting uninstall: spacy
    Found existing installation: spacy 3.2.4
    Uninstalling spacy-3.2.4:
      Successfully uninstalled spacy-3.2.4
[31mERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
scattertext 0.1.6 requires gensim>=4.0.0, but you have gensim 3.8.3 which is incompatible.
pymc3 3.11.5 requires scipy<1.8.0,>=1.7.3, but you have scipy 1.5.4 which is incompatible.
pdpbox 0.2.1 requires matplotlib==3.1.1, but you have matplotlib 3.4.0 which is incompatible.
hypertools 0.8.0 requires scikit-learn>=0.24, but you have scikit-learn 0.23.2 which is incompatible.
featuretools 1.8.0 requires numpy>=1.21.0, but you have numpy 1.19.5 which is incompatible.
en-core-web-sm 3.2.0 requires spacy<3.3.0,>=3.2.0, but you have spacy 2.3.7 which is incompatible.
en-core-web-lg 3.2.0 requires spacy<3.3.0,>=3.2.0, but you have spacy 2.3.7 which is incompatible.[0m[31m
[0mSuccessfully installed catalogue-1.0.0 databricks-cli-0.16.6 gensim-3.8.3 gunicorn-20.1.0 imbalanced-learn-0.7.0 mlflow-1.25.1 plac-1.1.3 prometheus-flask-exporter-0.20.1 pycaret-2.3.5 pyod-0.9.9 querystring-parser-1.2.4 scipy-1.5.4 spacy-2.3.7 srsly-1.0.5 thinc-7.4.5 yellowbrick-1.3.post1
[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv[0m[33m
[0m

테스트

분류를 위한 필수 라이브러리를 가져왔다.

from pycaret.classification import *
import warnings
warnings.filterwarnings("ignore")

데이터를 불러오는 코드다.

from pycaret.datasets import get_data
data = get_data('diabetes')

Hugo 깃허브 블로그 - Windows (2022)

Sun, 17 Apr 2022 15:11:47 +0900

패키지 관리자 설치

Chocolatey (Windows)

If you are on a Windows machine and use Chocolatey for package management, you can install Hugo with the following one-liner:
우선 PowerShell을 관리자로 실행 후, 아래와 같이 Chocolately를 설치한다.
- 명령어 : Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('[https://community.chocolatey.org/install.ps1](https://community.chocolatey.org/install.ps1)'))

Windows PowerShell
Copyright (C) Microsoft Corporation. All rights reserved.
                                                                                                                        
새로운 크로스 플랫폼 PowerShell 사용 https://aka.ms/pscore6                                                                                                                                                                                     
PS C:\WINDOWS\system32> Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1'))
Forcing web requests to allow TLS v1.2 (Required for requests to Chocolatey.org)
Getting latest version of the Chocolatey package for download.
Not using proxy.
Getting Chocolatey from https://community.chocolatey.org/api/v2/package/chocolatey/1.1.0.
Downloading https://community.chocolatey.org/api/v2/package/chocolatey/1.1.0 to C:\Users\512-24\AppData\Local\Temp\chocolatey\chocoInstall\chocolatey.zip
Not using proxy.
Extracting C:\Users\512-24\AppData\Local\Temp\chocolatey\chocoInstall\chocolatey.zip to C:\Users\512-24\AppData\Local\Temp\chocolatey\chocoInstall
Installing Chocolatey on the local machine
Creating ChocolateyInstall as an environment variable (targeting 'Machine')
  Setting ChocolateyInstall to 'C:\ProgramData\chocolatey'
WARNING: It's very likely you will need to close and reopen your shell
  before you can use choco.
Restricting write permissions to Administrators
We are setting up the Chocolatey package repository.
The packages themselves go to 'C:\ProgramData\chocolatey\lib'
  (i.e. C:\ProgramData\chocolatey\lib\yourPackageName).
A shim file for the command line goes to 'C:\ProgramData\chocolatey\bin'
  and points to an executable in 'C:\ProgramData\chocolatey\lib\yourPackageName'.

Creating Chocolatey folders if they do not already exist.

WARNING: You can safely ignore errors related to missing log files when
  upgrading from a version of Chocolatey less than 0.9.9.
  'Batch file could not be found' is also safe to ignore.
  'The system cannot find the file specified' - also safe.
chocolatey.nupkg file not installed in lib.
 Attempting to locate it from bootstrapper.
PATH environment variable does not have C:\ProgramData\chocolatey\bin in it. Adding...
경고: Not setting tab completion: Profile file does not exist at
'C:\Users\512-24\Documents\WindowsPowerShell\Microsoft.PowerShell_profile.ps1'.
Chocolatey (choco.exe) is now ready.
You can call choco from anywhere, command line or powershell by typing choco.
Run choco /? for a list of functions.
You may need to shut down and restart powershell and/or consoles
 first prior to using choco.
Ensuring Chocolatey commands are on the path
Ensuring chocolatey.nupkg is in the lib folder
PS C:\WINDOWS\system32>

choco를 활용한 Hugo 설치

설치 시, 관리자로 PowerShell을 실행한다.

$ choco install hugo-extended -confirm

hugo version을 확인한다.

$ hugo version
hugo v0.97.0-c07f3626e7c8160943591f4d209977efa02c3dca windows/amd64 BuildDate=2022-04-14T08:45:07Z VendorInfo=gohugoio
PS C:\WINDOWS\system32>

Git & Github 설치

이제 Git을 설치하도록 한다. Git이 있어야 배포를 할 수 있기 때문에 반드시 설치한다.
- URL : https://git-scm.com/download/win
Github 회원가입도 안했다면 회원가입을 진행하도록 한다.
- URL : https://github.com/

Hugo 명령어를 활용한 첫번째 싸이트 만들기

간단한 명령어를 활용하여 싸이트를 생성한다.
- 명령어 : hugo new site your_blog_name
필자는 폴더명을 myblog로 지정했다.

PS C:\Users\your_name\Desktop> hugo new site myblog
Congratulations! Your new Hugo site is created in C:\Users\512-24\Desktop\myblog.

Just a few more steps and you're ready to go:

1. Download a theme into the same-named folder.
   Choose a theme from https://themes.gohugo.io/ or
   create your own with the "hugo new theme <THEMENAME>" command.
2. Perhaps you want to add some content. You can add single files
   with "hugo new <SECTIONNAME>\<FILENAME>.<FORMAT>".
3. Start the built-in live server via "hugo server".

Visit https://gohugo.io/ for quickstart guide and full documentation.

Github & Submodule 설정

우선 Github 세팅을 먼저 할 것이다.

깃허브 Repo 작성

myblog & username.github.io 두 개의 repo를 작성한다.
깃허브와 현재 작성중인 폴더(myblog)를 연결한다.
- 모든 명령어는 myblog/ 에서 적용한다.
- 이 때 public 폴더가 있으면 지워준다.

cd myblog
rm -rf public
echo "# myblog" >> README.md
git init
git add README.md
git commit -m "first commit"
git branch -M main
git remote add origin https://github.com/rain0430/myblog.git
git push -u origin main

처음 깃헙을 하시는 분들은 주로 하단에서 에러가 나타날 것이다.
- 이는 로그인을 하라는 뜻이다. (RUN 아래 코드를 순차적으로 실행)

$ git commit -m "first commit"
Author identity unknown

*** Please tell me who you are.

Run

  git config --global user.email "you@example.com"
  git config --global user.name "Your Name"

git commit 부터 다시 순차적으로 실행한다. git push 할 때, sign in 팝업창이 뜰 수도 있다.
이제 서브모듈(Submodule)을 통해서 배포를 진행하려고 한다.
git 서브모듈을 추가한다.
- 이 때, .gitmodules가 뜨는지 확인한다.
- 또한 rain0430.github.io Repo는 새로 만들어준다.
- 그리고 다음 명령어을 추가한다.

$ git submodule add -b main https://github.com/rain0430/rain0430.github.io.git public

만약 에러가 난다면, 강제로 실행을 한다.

$ git submodule add -f https://github.com/rain0430/rain0430.github.io.git public

Hugo 기본 싸이트 확인

우선 기본 테마를 설정해본다.
- 테마 찾기 : https://themes.gohugo.io/
필자는 다음 테마를 설정할 것이다. Codex | Hugo Themes (gohugo.io)
- 테마 설정 시, 약간의 팁을 드리면, Updated가 최근 날짜인지 확인한다. 최근 날짜가 아니라면 관리가 잘 안되어 테마일수도 있다.
- 각 테마마다 구체적인 설정 방법이 있기 때문에 각 설치 문서를 참조한다.

Airflow 데이터 파이프라인 구축 예제

Thu, 14 Apr 2022 21:10:47 +0900

개요

이번에는 CSV-JSON으로 데이터를 변환하는 파이프라인을 구축하도록 한다.

Step 01. Dags 폴더 생성

프로젝트 Root 하단에 Dags 폴더를 만든다.
- dags 폴더를 확인한다.

$ ls
airflow.cfg  airflow.db  dags  logs  venv  webserver_config.py

Step 02. 가상의 데이터 생성

이번 테스트에서 사용할 라이브러리가 없다면 우선 설치한다.

$ pip3 install faker pandas

faker 라이브러리를 활용하여 가상의 데이터를 생성한다. (파일 경로 : data/step01_writecsv.py)

from faker import Faker
import csv
output=open('data.csv','w')
fake=Faker()
header=['name','age','street','city','state','zip','lng','lat']
mywriter=csv.writer(output)
mywriter.writerow(header)
for r in range(1000):
    mywriter.writerow([fake.name(),fake.random_int(min=18, max=80, step=1), fake.street_address(), fake.city(),fake.state(),fake.zipcode(),fake.longitude(),fake.latitude()])
output.close()

생성된 후, 파일을 확인하도록 한다.

evan@evan:/mnt/c/airflow-test/data$ ls
data.csv  step01_writecsv.py

Step 03. csv2json 파일 구축

이번에는 CSV와 JSON 변환 파일을 구축하는 코드를 작성한다. (파일 경로 : dags/csv2json.py)\
주요 목적 함수 csvToJson()의 역할은 data/data.csv 파일을 불러와서 fromAirflow.json 파일로 변경하는 것이다.
DAG는 csvToJson 함수를 하나의 작업으로 등록하는 과정을 담는다. 작업의 소유자, 시작일시, 실패 시 재시도 횟수, 재시도 지연시 시간을 지정한다.
- 자세한 옵션은 도움말을 참조한다. https://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html
print_starting >> csvJson 에서 >> 는 하류 설정 연산자라고 부른다. (동의어 비트 자리이동 연산자)

import datetime as dt
from datetime import timedelta

from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator

import pandas as pd

def csvToJson():
    df=pd.read_csv('data/data.csv')
    for i,r in df.iterrows():
        print(r['name'])
    df.to_json('fromAirflow.json',orient='records')

default_args = {
    'owner': 'evan',
    'start_date': dt.datetime(2020, 3, 18),
    'retries': 1,
    'retry_delay': dt.timedelta(minutes=5),
}

with DAG('MyCSVDAG',
         default_args=default_args,
         schedule_interval=timedelta(minutes=5),      # '0 * * * *',
         ) as dag:

    print_starting = BashOperator(task_id='starting',
                               bash_command='echo "I am reading the CSV now....."')
    
    csvJson = PythonOperator(task_id='convertCSVtoJson',
                                 python_callable=csvToJson)

print_starting >> csvJson

Step 04. Airflow Webserver 및 Scheduler 동시 실행

이제 웹서버와 스케쥴러를 동시에 실행한다. (터미널을 2개 열어야 함에 주의한다.)

$ airflow webserver -p 8080
$ airflow scheduler

이제 WebUI를 확인하면 정상적으로 작동하는 것을 확인할 수 있다.

R Selenium 설치 가이드 (Windows)

Wed, 13 Apr 2022 17:20:30 +0900

개요

R에서 Selenium을 설치하는 과정을 보여준다.
우선 자바가 설치되어 있는지 확인한다.
유투브에서 제목만 가져오는 Demo 코드를 작성한다.

자바를 모르시는 분

만약 자바 설치를 해본적이 없다면 아래 코드를 순차적으로 입력한다.

install.packages("multilinguer")
library(multilinguer)
install_jdk()

# Rtools 설치 필요 
# https://cran.r-project.org/bin/windows/Rtools
write('PATH="${RTOOLS40_HOME}\\usr\\bin;${PATH}"', file = "~/.Renviron", append = TRUE)
Sys.which("make")

install.packages(c("stringr", "hash", "tau", "Sejong", "RSQLite", "devtools"),
                 type = "binary")

install.packages("remotes")
remotes::install_github("haven-jeon/KoNLP",
                        upgrade = "never",
                        INSTALL_opts = c("--no-multiarch"))

library(KoNLP)
useNIADic()

마지막 코드에서 콘솔창이 보인다면 정상적으로 설치가 완료가 된 것이다.

> library(KoNLP)
Checking user defined dictionary!

> useNIADic()
Backup was just finished!
1213109 words dictionary was built.

검색창에서 시스템 환경 변수 편집을 검색 후, 실제 자바가 설치가 되어 있는지 직접 확인한다.
- 환경변수 - 시스템 변수 탭 내 Path 클릭 후 확인 버튼 - 환경 변수 편집 순차적으로 탭을 확인한다.

Apache NiFi 설치와 설정 in WSL2

Tue, 12 Apr 2022 14:00:47 +0900

설치

wsl2에서 JAVA 설치 한다.

$ sudo apt-get update && sudo apt-get upgrade
$ sudo apt install openjdk-11-jre-headless
$ vi ~/.bash_profile
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

curl을 이용해서 NiFi를 현재 경로에 내려받는다.

$ sudo wget https://downloads.apache.org/nifi/1.16.0/nifi-1.16.0-bin.tar.gz

.tar.gz 파일의 압축을 푼다.

$ sudo tar xvzf nifi-1.16.0-bin.tar.gz

압축파일을 푼 다음에는 cd nifi-1.16.0 폴더에 접속을 한다.

$ cd nifi-1.16.0/bin

ls를 실행해서 nifi-env.sh 파일이 있는지 확인하고 있다면, vi 에디터로 연다.
1. .bash_profile에서 한 것처럼 동일하게 자바 환경변수를 잡아준다.

$ sudo vi nifi-env.sh
export JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"

그리고, nifi-env.sh 파일을 실행한다.

$ sudo ./nifi.sh start

Java home: /usr/lib/jvm/java-11-openjdk-amd64
NiFi home: /nifi-1.16.0

Bootstrap Config File: /nifi-1.16.0/conf/bootstrap.conf

webserver 주소를 확인한다.

/nifi-1.16.0/conf$ cd .. 
/nifi-1.16.0/conf$ vi nifi.properties

Convert Plotly Jupyterlab to HTML

Tue, 12 Apr 2022 00:02:47 +0900

개요

jupyter notebook에서 plotly 기반의 시각화를 작성한다.
jupyter notebook에서 html로 변환 시, plotly로 작성된 코드는 나타나지 않았다.
이 때 필수적으로 입력해야 할 코드를 작성한다.

필수 코드 적용 전 변환 시

간단한 시각화 코드를 작성 후, html로 변환한다.

import plotly.express as px

fig = px.line(x=["a","b","c"], y=[1,3,2], title="sample figure")
fig.show()

아래 그림은 일반적으로 JupyterLab 에디터에서 HTML로 변환하는 과정이다.
- File - Save and Export Notebook As… - HTML 순차적으로 클릭한다.

ElasticSearch & Kibana 설치 in WSL2

Mon, 11 Apr 2022 11:00:47 +0900

Step 1. 사전 필수 패키지 설치

우선 시스템 패키지를 업데이트 하고, HTTPS와 관련된 패키지를 설치한다.

$ sudo apt update
$ sudo apt install apt-transport-https

자바를 설치한다.

이미 설치가 되어 있다면 버전만 확인한다.

$ sudo apt install openjdk-11-jdk

설치한 버전을 확인한다.

$ java -version
openjdk version "11.0.14.1" 2022-02-08
OpenJDK Runtime Environment (build 11.0.14.1+1-Ubuntu-0ubuntu1.20.04)
OpenJDK 64-Bit Server VM (build 11.0.14.1+1-Ubuntu-0ubuntu1.20.04, mixed mode, sharing)

자바 환경 변수를 설정하기 위해 아래와 같이 에디터를 입력한다.

$ sudo vi /etc/environment

그리고 아래와 같이 추가한다.

JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"

환경변수를 업데이트 한다.

$ source /etc/environment

실제 경로가 나오는지 확인한다.

$ echo $JAVA_HOME
/usr/lib/jvm/java-11-openjdk-amd64

Step 2. ElasticSearch 설치

GPG Keys를 확인하여 설치를 진행한다.

$ wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
OK

라이브러리를 아래와 같이 추가한다.

$ sudo sh -c 'echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" > /etc/apt/sources.list.d/elastic-7.x.list'

이제 elasticsearch를 설치한다.

$ sudo apt-get update
Hit:1 https://artifacts.elastic.co/packages/7.x/apt stable InRelease
Hit:2 http://security.ubuntu.com/ubuntu focal-security InRelease
Hit:3 http://archive.ubuntu.com/ubuntu focal InRelease
Hit:4 http://archive.ubuntu.com/ubuntu focal-updates InRelease
Hit:5 http://archive.ubuntu.com/ubuntu focal-backports InRelease
Reading package lists... Done
$ sudo apt-get install elasticsearch
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following NEW packages will be installed:
  elasticsearch
0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded.
Need to get 312 MB of archives.
After this operation, 517 MB of additional disk space will be used.
Get:1 https://artifacts.elastic.co/packages/7.x/apt stable/main amd64 elasticsearch amd64 7.17.2 [312 MB]
Fetched 312 MB in 8s (40.9 MB/s)
Selecting previously unselected package elasticsearch.
(Reading database ... 32942 files and directories currently installed.)
Preparing to unpack .../elasticsearch_7.17.2_amd64.deb ...
Creating elasticsearch group... OK
Creating elasticsearch user... OK
Unpacking elasticsearch (7.17.2) ...
Setting up elasticsearch (7.17.2) ...
### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd
 sudo systemctl daemon-reload
 sudo systemctl enable elasticsearch.service
### You can start elasticsearch service by executing
 sudo systemctl start elasticsearch.service
warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
Created elasticsearch keystore in /etc/elasticsearch/elasticsearch.keystore
Processing triggers for systemd (245.4-4ubuntu3.15) ...

Step 3. Elasticsearch 서비스 시작

이번에는 elasticsearch 서비스를 시작한다.

$ sudo systemctl start elasticsearch

만약 아래와 같은 에러 메시지가 뜬다면, 추가해야 한다.
- 참조 : https://askubuntu.com/questions/1379425/system-has-not-been-booted-with-systemd-as-init-system-pid-1-cant-operate

System has not been booted with systemd as init system (PID 1). 
Can't operate. Failed to connect to bus: Host is down

다음 명령어를 추가한다.

$ sudo -b unshare --pid --fork --mount-proc /lib/systemd/systemd --system-unit=basic.target
$ sudo -E nsenter --all -t $(pgrep -xo systemd) runuser -P -l $USER -c "exec $SHELL"

서비스가 가능하도록 한다.

$ sudo systemctl enable elasticsearch
Synchronizing state of elasticsearch.service with SysV service script with /lib/systemd/systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install enable elasticsearch
Created symlink /etc/systemd/system/multi-user.target.wants/elasticsearch.service → /lib/systemd/system/elasticsearch.service.

서비스를 시작한다.

$ sudo systemctl start elasticsearch

실제 서비스가 작동하는지 확인한다.

$ curl -X GET "localhost:9200/"
{
  "name" : "evan",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "vATWEOO1T9yOFGLc7G3L4w",
  "version" : {
    "number" : "7.17.2",
    "build_flavor" : "default",
    "build_type" : "deb",
    "build_hash" : "de7261de50d90919ae53b0eff9413fd7e5307301",
    "build_date" : "2022-03-28T15:12:21.446567561Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

만약 위와 같은 메시지가 뜨면, 윈도우 화면에서 재 확인해본다.

PostgreSQL Installation on WSL2 and Windows

Sun, 10 Apr 2022 14:40:30 +0900

개요

WSL2에서 PostgreSQL을 설치한다.
pgAdmin은 Windows에 설치한다.

터미널 업그레이드

먼저 WSL 터미널을 열고, Ubuntu 패키지를 모두 업데이트 및 업그레이드를 한다.

$ sudo apt update
[sudo] password for evan:
Hit:1 https://artifacts.elastic.co/packages/7.x/apt stable InRelease
Get:2 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB]
Hit:3 http://archive.ubuntu.com/ubuntu focal InRelease
Get:4 http://archive.ubuntu.com/ubuntu focal-updates InRelease [114 kB]
Get:5 http://archive.ubuntu.com/ubuntu focal-backports InRelease [108 kB]
Get:6 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages [1712 kB]
Get:7 http://archive.ubuntu.com/ubuntu focal-updates/universe amd64 Packages [916 kB]
Fetched 2963 kB in 5s (600 kB/s)
Reading package lists... Done
Building dependency tree
Reading state information... Done
All packages are up to date.

이번에는 업그레이드를 해본다.

$ sudo apt-get upgrade
Reading package lists... Done
Building dependency tree
Reading state information... Done
Calculating upgrade... Done
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.

PostgreSQL Installation in WSL2

이번에는 WSL2에서 PostgreSQL을 설치한다. 설치가 종료되면, 반드시 버전을 확인한다.

$ sudo apt install postgresql postgresql-contrib
$ psql --version
psql (PostgreSQL) 12.9 (Ubuntu 12.9-0ubuntu0.20.04.1)

설치 이후에는 Database를 접근가능하도록 활성화해야 한다.
- 포트가 활성화 되어 있지 않다면 아래와 같은 메시지가 나타날 것이다.

$ sudo service postgresql status
12/main (port 5432): down

이번에는 활성화를 해보도록 한다. 온라인이라는 메시지가 나타난다면 활성화가 되었다는 것을 의미한다.

$ sudo service postgresql start
 * Starting PostgreSQL 12 database server
$ sudo service postgresql status
12/main (port 5432): online

이번에는 활성화된 데이터베이스를 종료시킨다.

$ sudo service postgresql stop
 * Stopping PostgreSQL 12 database server                                                                        [ OK ]
$ sudo service postgresql status
12/main (port 5432): down

사용자 계정 Password 설정

기본적으로 admin 사용자로 등록이 되어 있다. 보통 DB 초기 세팅 시에는 패스워드를 입력받아야 한다. (예: evan)

$ sudo passwd postgres
New password:
Retype new password:
passwd: password updated successfully

여기까지 했다면, WSL2에서 추가로 설정할 것은 더 없다.

pgAdmin Installation on Windows

이번에는 pgAdmin을 설치한다. (최신버전 설치, pgAdmin 4 v6.8)웹사이트 : https://www.pgadmin.org/download/pgadmin-4-windows/

VSCode Remote WLS 연동

Sat, 09 Apr 2022 14:00:47 +0900

VSCode 설치

우선 VSCode를 설치한다.
- URL : https://code.visualstudio.com/download
이 때, 관리자로 실행할 것이기 때문에 System Installer를 다운로드 받는다.

설치 시, 환경변수 체크란만 잘 확인한다.

설치가 다 끝난 후에는 재부팅을 실시한다.

Remote WSL 연동

Extension 버튼을 클릭한다.

검색창에서 Remote WSL을 검색 후, 설치를 진행한다.

모두 클릭 후, Mark Done을 선택한다.

Open Folder를 클릭한다.

WSL에서 설치했던 airflow-test 폴더를 선택한다.

해당 프로젝트를 열도록 한다.

메뉴바에 Terminal을 선택 후, 화면 하단에서 WSL이 있는지 확인한다.

Setting up Apache-NiFi in Windows 10

Thu, 07 Apr 2022 14:00:47 +0900

개요

윈도우에서 NiFi를 설치해본다.
NiFi를 설치하기 위해서는 자바 설치가 필요하다.

Step 01. NiFi 다운로드

먼저 웹사이트에 접속한다.
- URL : https://www.apache.org/dyn/closer.lua?path=/nifi/1.16.0/nifi-1.16.0-bin.zip

/img/programming/2022/04/apache_nifi_installation_windows/apache_nifi_installation_windows

가장 먼저 나오는 링크를 클릭한다.
- URL : https://dlcdn.apache.org/nifi/1.16.0/nifi-1.16.0-bin.zip
다운로드 받은 파일의 압축을 풀도록 한다.

Step 02. Java 환경 설정

Java 설치 내용은 아래 블로그를 참조한다.
참고자료 : https://maktony.tistory.com/13

Step 03. run-nifi 배치 파일 실행

run-nifi 배치파일을 관리자 권한으로 실행한다.

아래와 같은 메시지가 출력이 되면 성공한 것이다.

Step 04. Web UI 확인

(약 1분이 지난 후) Web UI를 확인해본다.
- https://127.0.0.1:8443/nifi/login

Setting up Apache-Airflow in Windows using WSL2

Wed, 06 Apr 2022 14:00:47 +0900

개요

Windows WSL2에서 airflow를 설치한다.

Step 1. Install pip on WSL

airflow를 설치하기 위해 pip를 설치한다.

$ sudo apt install python3-pip
[sudo] password for username:

Step 2. Install virtualenv package

virtualenv 라이브러리를 설치한다.

$ sudo pip3 install virtualenv

Step 3. Create a virtual environment

C드라이브에 airflow-test 폴더를 생성한다.
- 해당 디렉터리로 이동한다.
이제 가상환경을 생성한다.

$ virtualenv venv

가상환경에 접속을 한다.

$ source venv/bin/activate

이번에는 .bashrc 파일을 수정한다.

$ vi ~/.bashrc

파일을 연 후, 다음과 같은 코드를 추가한다.

export AIRFLOW_HOME=/mnt/c/airflow-test

파일을 닫을 때는 ESC → :wq 순서대로 작성한다.
수정된 코드를 업데이트 하기 위해서는 아래와 같이 반영한다.

$ source ~/.bashrc

실제로 코드가 반영되었는지 확인하기 위해서는 다음과 같이 확인해본다.

echo $AIRFLOW_HOME
/mnt/c/airflow-test

Step 4. Apache Airflow 설치

PostgreSQL, Slack, Celery 패키지를 동시에 설치하는 코드를 작성한다.

$ pip3 install 'apache-airflow[postgres, slack, celery]'

에어플로 실행 위해 DB 초기화를 해줘야 한다.

$ airflow db init

실제로 잘 구현이 되었는지 확인하기 위해 webserver를 실행한다.

$ airflow webserver -p 8081

다음으로 일정 주기로 데이터 흐름이 실행되게 하려면 Scheduler가 필요하다.

$ airflow scheduler

그리고, 해당 링크 http://localhost:8081/login/ 에 접속하면 아래와 같은 화면이 나타난다.

Windows 10 도커 설치 과정 (2022 ver)

Tue, 05 Apr 2022 14:00:47 +0900

개요

주요 참고자료는 다음과 같다.
- WSL2 설치 : https://www.lainyzine.com/ko/article/how-to-install-wsl2-and-use-linux-on-windows-10/#google_vignette
- 도커 설치 : https://www.lainyzine.com/ko/article/a-complete-guide-to-how-to-install-docker-desktop-on-windows-10/

Step 1. WSL2 설치 과정

Windows PowerShell 관리자로 실행 후 다음 명령어 입력

$ dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
$ dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

위 명령어 실행 후, 재부팅 필수
x64 머신용 최신 WSL2 Linux 커널 업데이트 패키지를 다운로드 받아 안내에 따라 설치합니다.
Windows Powershell 열고 아래 코드 실행

$ wsl --set-default-version 2
WSL 2와의 주요 차이점에 대한 자세한 내용은 https://aka.ms/wsl2를 참조하세요

Step 2l Docker Desktop 설치

다음 페이지로 이동해서 Docker Desktop for Windows를 다운로드 받습니다.

Docker Desktop for Mac and Windows | Docker

Scikit-Learn OneHot Encoding 다양한 적용 방법

Sat, 02 Apr 2022 11:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

One-Hot Encoding 개념에 대해 이해한다.
One-Hot Encoder 사용법을 익힌다.

One-Hot Encoding

One-Hot Encoding은 문자를 숫자로 변환하는 것이다.
먼저 그림을 보면서 이해하도록 한다.

머신러닝 알고리즘은 데이터가 모두 숫자인 것으로 이해하기 때문에 모두 변환해주어야 한다.

OnetHotEncoder

OneHotEncoder는 Scikit-Learn 라이브러리에 있는 클래스이다.
- 자세한 내용은 링크를 참조한다.
먼저 예시를 참조한다.

import sklearn
print("sklearn ver.", sklearn.__version__)

sklearn ver. 1.0.2

from sklearn.preprocessing import OneHotEncoder
enc = OneHotEncoder(handle_unknown='ignore')
X = [['Male', 1], ['Female', 3], ['Female', 2]]
enc.fit_transform(X).toarray()

array([[0., 1., 1., 0., 0.],
       [1., 0., 0., 0., 1.],
       [1., 0., 0., 1., 0.]])

예시 코드를 보면 위 그림과 결괏값이 다르게 나오는 걸 확인할 수 있다.
보통 우리가 다루는 데이터는 pandas 데이터프레임이기 때문에, 입문자분들에게는 거리감이 느껴질 수 있다.
그래서 pandas 데이터프레임 데이터를 가져와서 테스트를 해보았다.

from sklearn.preprocessing import OneHotEncoder
from seaborn import load_dataset

penguins = load_dataset('penguins')
ohe = OneHotEncoder()
transformed = ohe.fit_transform(penguins[['island']])
print(transformed.toarray())
print(ohe.categories_)
print(penguins['island'].unique())

[[0. 0. 1.]
 [0. 0. 1.]
 [0. 0. 1.]
 ...
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]]
[array(['Biscoe', 'Dream', 'Torgersen'], dtype=object)]
['Torgersen' 'Biscoe' 'Dream']

이제 해당 코드를 기존 데이터프레임에 추가하도록 한다.

print(penguins.head())

  species     island  bill_length_mm  bill_depth_mm  flipper_length_mm  \
0  Adelie  Torgersen            39.1           18.7              181.0   
1  Adelie  Torgersen            39.5           17.4              186.0   
2  Adelie  Torgersen            40.3           18.0              195.0   
3  Adelie  Torgersen             NaN            NaN                NaN   
4  Adelie  Torgersen            36.7           19.3              193.0   

   body_mass_g     sex  
0       3750.0    Male  
1       3800.0  Female  
2       3250.0  Female  
3          NaN     NaN  
4       3450.0  Female

penguins[ohe.categories_[0]] = transformed.toarray()
print(penguins.head())

  species     island  bill_length_mm  bill_depth_mm  flipper_length_mm  \
0  Adelie  Torgersen            39.1           18.7              181.0   
1  Adelie  Torgersen            39.5           17.4              186.0   
2  Adelie  Torgersen            40.3           18.0              195.0   
3  Adelie  Torgersen             NaN            NaN                NaN   
4  Adelie  Torgersen            36.7           19.3              193.0   

   body_mass_g     sex  Biscoe  Dream  Torgersen  
0       3750.0    Male     0.0    0.0        1.0  
1       3800.0  Female     0.0    0.0        1.0  
2       3250.0  Female     0.0    0.0        1.0  
3          NaN     NaN     0.0    0.0        1.0  
4       3450.0  Female     0.0    0.0        1.0

만약 다중 문자열 컬럼을 한다면?

위 예시는 변경하려는 컬럼이 1개일 때는 시의적절하게 사용할 수 있다.
그러나, 보통 캐글이나 데이콘 같은 대회에서는 여러개의 문자열 컬럼을 변환시켜야 한다.
물론, 프로그래밍 능력을 갖춘 분이라면, 반복문을 사용해서 처리할 수도 있다.
그러나, sklearn.compose.make_column_transformer 클래스를 활용하면 보다 쉽게 처리할 수 있다.
- 참조 : https://scikit-learn.org/stable/modules/generated/sklearn.compose.make_column_transformer.html

from sklearn.preprocessing import OneHotEncoder
from sklearn.preprocessing import LabelEncoder
from sklearn.compose import make_column_transformer
from seaborn import load_dataset
import pandas as pd

penguins = load_dataset('penguins')
sample_cols = ['island', 'sex', 'bill_length_mm', 'species']
penguins = penguins[sample_cols]

# 결측치 제거 
penguins = penguins.dropna()
print(penguins.head())
print(penguins.info())

      island     sex  bill_length_mm species
0  Torgersen    Male            39.1  Adelie
1  Torgersen  Female            39.5  Adelie
2  Torgersen  Female            40.3  Adelie
4  Torgersen  Female            36.7  Adelie
5  Torgersen    Male            39.3  Adelie
<class 'pandas.core.frame.DataFrame'>
Int64Index: 333 entries, 0 to 343
Data columns (total 4 columns):
 #   Column          Non-Null Count  Dtype  
---  ------          --------------  -----  
 0   island          333 non-null    object 
 1   sex             333 non-null    object 
 2   bill_length_mm  333 non-null    float64
 3   species         333 non-null    object 
dtypes: float64(1), object(3)
memory usage: 13.0+ KB
None

categorical_cols = ['island', 'sex']
label_cols = ['species']

transformer = make_column_transformer(
    (OneHotEncoder(), categorical_cols),
    remainder='passthrough', 
    verbose_feature_names_out = False)

transformed = transformer.fit_transform(penguins)
transformed_df = pd.DataFrame(transformed, columns=transformer.get_feature_names_out())
print(transformed_df.head())

  island_Biscoe island_Dream island_Torgersen sex_Female sex_Male  \
0           0.0          0.0              1.0        0.0      1.0   
1           0.0          0.0              1.0        1.0      0.0   
2           0.0          0.0              1.0        1.0      0.0   
3           0.0          0.0              1.0        1.0      0.0   
4           0.0          0.0              1.0        0.0      1.0   

  bill_length_mm species  
0           39.1  Adelie  
1           39.5  Adelie  
2           40.3  Adelie  
3           36.7  Adelie  
4           39.3  Adelie

OrdinalEncoder 클래스와 같이 사용이 가능한가?

이번에는 OrdinalEncoder 클래스와 같이 사용을 하도록 한다.

import pandas as pd
from seaborn import load_dataset

tips = load_dataset('tips')

# 결측치 제거 
tips = tips.dropna()
print(tips.info())

<class 'pandas.core.frame.DataFrame'>
Int64Index: 244 entries, 0 to 243
Data columns (total 7 columns):
 #   Column      Non-Null Count  Dtype   
---  ------      --------------  -----   
 0   total_bill  244 non-null    float64 
 1   tip         244 non-null    float64 
 2   sex         244 non-null    category
 3   smoker      244 non-null    category
 4   day         244 non-null    category
 5   time        244 non-null    category
 6   size        244 non-null    int64   
dtypes: category(4), float64(2), int64(1)
memory usage: 9.1 KB
None

위 데이터에서 sex, day는 onehot encoding을 진행하고, smoker와 time은 ordinal encoding을 동시 진행해본다.
또한, numeric features를 위해 스케일러도 진행했다.
그 후, 새로운 데이터 프레임으로 변환하는 코드를 작성한다.
ColumnTransformer 메서드 적용 후, get_feature_names()를 얻기 위해서는 helper 함수가 필요하다.
- 함수는 해당 링크에서 가져왔다.

import warnings
import sklearn
import pandas as pd
import numpy as np

def get_feature_names(column_transformer):
    """Get feature names from all transformers.
    Returns
    -------
    feature_names : list of strings
        Names of the features produced by transform.
    """
    # Remove the internal helper function
    #check_is_fitted(column_transformer)
    
    # Turn loopkup into function for better handling with pipeline later
    def get_names(trans):
        # >> Original get_feature_names() method
        if trans == 'drop' or (
                hasattr(column, '__len__') and not len(column)):
            return []
        if trans == 'passthrough':
            if hasattr(column_transformer, '_df_columns'):
                if ((not isinstance(column, slice))
                        and all(isinstance(col, str) for col in column)):
                    return column
                else:
                    return column_transformer._df_columns[column]
            else:
                indices = np.arange(column_transformer._n_features)
                return ['x%d' % i for i in indices[column]]
        if not hasattr(trans, 'get_feature_names'):
        # >>> Change: Return input column names if no method avaiable
            # Turn error into a warning
            warnings.warn("Transformer %s (type %s) does not "
                                 "provide get_feature_names. "
                                 "Will return input column names if available"
                                 % (str(name), type(trans).__name__))
            # For transformers without a get_features_names method, use the input
            # names to the column transformer
            if column is None:
                return []
            else:
                return [name + "__" + f for f in column]

        return [name + "__" + f for f in trans.get_feature_names()]
    
    ### Start of processing
    feature_names = []
    
    # Allow transformers to be pipelines. Pipeline steps are named differently, so preprocessing is needed
    if type(column_transformer) == sklearn.pipeline.Pipeline:
        l_transformers = [(name, trans, None, None) for step, name, trans in column_transformer._iter()]
    else:
        # For column transformers, follow the original method
        l_transformers = list(column_transformer._iter(fitted=True))
    
    
    for name, trans, column, _ in l_transformers: 
        if type(trans) == sklearn.pipeline.Pipeline:
            # Recursive call on pipeline
            _names = get_feature_names(trans)
            # if pipeline has no transformer that returns names
            if len(_names)==0:
                _names = [name + "__" + f for f in column]
            feature_names.extend(_names)
        else:
            feature_names.extend(get_names(trans))
    
    return feature_names

이제 위 함수들을 적용해서 각 인코딩과 사용하지 않는 컬럼들을 하나로 합치는 코드를 작성해본다.

from sklearn.preprocessing import OneHotEncoder
from sklearn.preprocessing import OrdinalEncoder
from sklearn.preprocessing import StandardScaler
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

categorical_cols = ['sex', 'day']
ordinal_cols = ['smoker', 'time']
numeric_cols = ['total_bill']
keep_features = [x for x in tips.columns if x not in categorical_cols + ordinal_cols + numeric_cols]

tips2 = tips[categorical_cols + ordinal_cols + numeric_cols]

transformer = ColumnTransformer(
    [('StandardScaler', StandardScaler(), numeric_cols),
     ('OneHotEncoder', OneHotEncoder(), categorical_cols),
     ('OrdinalEncoder', OrdinalEncoder(), ordinal_cols)],
    remainder='passthrough', 
    verbose_feature_names_out = False)

transformed = transformer.fit_transform(tips2)
transformed_df = pd.DataFrame(transformed, columns=get_feature_names(transformer))
tip3 = pd.concat([tips[keep_features], transformed_df], axis = 1)
tip3.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 244 entries, 0 to 243
Data columns (total 11 columns):
 #   Column                      Non-Null Count  Dtype  
---  ------                      --------------  -----  
 0   tip                         244 non-null    float64
 1   size                        244 non-null    int64  
 2   StandardScaler__total_bill  244 non-null    float64
 3   OneHotEncoder__x0_Female    244 non-null    float64
 4   OneHotEncoder__x0_Male      244 non-null    float64
 5   OneHotEncoder__x1_Fri       244 non-null    float64
 6   OneHotEncoder__x1_Sat       244 non-null    float64
 7   OneHotEncoder__x1_Sun       244 non-null    float64
 8   OneHotEncoder__x1_Thur      244 non-null    float64
 9   OrdinalEncoder__smoker      244 non-null    float64
 10  OrdinalEncoder__time        244 non-null    float64
dtypes: float64(10), int64(1)
memory usage: 22.9 KB


/usr/local/lib/python3.7/dist-packages/ipykernel_launcher.py:38: UserWarning: Transformer StandardScaler (type StandardScaler) does not provide get_feature_names. Will return input column names if available
/usr/local/lib/python3.7/dist-packages/sklearn/utils/deprecation.py:87: FutureWarning: Function get_feature_names is deprecated; get_feature_names is deprecated in 1.0 and will be removed in 1.2. Please use get_feature_names_out instead.
  warnings.warn(msg, category=FutureWarning)
/usr/local/lib/python3.7/dist-packages/ipykernel_launcher.py:38: UserWarning: Transformer OrdinalEncoder (type OrdinalEncoder) does not provide get_feature_names. Will return input column names if available

일단 임시로 작업을 하기는 했으나, 뭔가 깔끔해보이지는 않는다.
만약 작업을 한다면, 한꺼번에 하지 말고, 각 단계별로 pipeline을 구성 후, 순차적으로 하는 것이 현재로써는 좀 더 “정신건강상 좋아보인다!”

Plot Tree 색상 변경

Thu, 31 Mar 2022 11:00:47 +0900

개요

skleran.tree.plot_tree의 색상을 바꿔보도록 한다.
matplotlib 객체지향의 구조를 알면 어렵지(?) 않게 바꿀 수 있다.
간단하게 plot_tree 시각화를 구현해본다.
- 언제나 예제로 희생당하는 iris 데이터에게 애도를 표한다.
구글코랩에서 실행 시, 다음 코드를 실행하여 최신 라이브러리로 업그레이드 한다.

!pip install -U matplotlib

Requirement already satisfied: matplotlib in /usr/local/lib/python3.7/dist-packages (3.2.2)
Collecting matplotlib
  Downloading matplotlib-3.5.1-cp37-cp37m-manylinux_2_5_x86_64.manylinux1_x86_64.whl (11.2 MB)
[K     |████████████████████████████████| 11.2 MB 27.0 MB/s 
[?25hRequirement already satisfied: kiwisolver>=1.0.1 in /usr/local/lib/python3.7/dist-packages (from matplotlib) (1.4.0)
Requirement already satisfied: python-dateutil>=2.7 in /usr/local/lib/python3.7/dist-packages (from matplotlib) (2.8.2)
Requirement already satisfied: numpy>=1.17 in /usr/local/lib/python3.7/dist-packages (from matplotlib) (1.21.5)
Requirement already satisfied: pillow>=6.2.0 in /usr/local/lib/python3.7/dist-packages (from matplotlib) (7.1.2)
Requirement already satisfied: pyparsing>=2.2.1 in /usr/local/lib/python3.7/dist-packages (from matplotlib) (3.0.7)
Requirement already satisfied: cycler>=0.10 in /usr/local/lib/python3.7/dist-packages (from matplotlib) (0.11.0)
Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.7/dist-packages (from matplotlib) (21.3)
Collecting fonttools>=4.22.0
  Downloading fonttools-4.31.2-py3-none-any.whl (899 kB)
[K     |████████████████████████████████| 899 kB 50.5 MB/s 
[?25hRequirement already satisfied: typing-extensions in /usr/local/lib/python3.7/dist-packages (from kiwisolver>=1.0.1->matplotlib) (3.10.0.2)
Requirement already satisfied: six>=1.5 in /usr/local/lib/python3.7/dist-packages (from python-dateutil>=2.7->matplotlib) (1.15.0)
Installing collected packages: fonttools, matplotlib
  Attempting uninstall: matplotlib
    Found existing installation: matplotlib 3.2.2
    Uninstalling matplotlib-3.2.2:
      Successfully uninstalled matplotlib-3.2.2
[31mERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
albumentations 0.1.12 requires imgaug<0.2.7,>=0.2.5, but you have imgaug 0.2.9 which is incompatible.[0m
Successfully installed fonttools-4.31.2 matplotlib-3.5.1

%matplotlib inline 

import sklearn
print(sklearn.__version__)
import matplotlib
print(matplotlib.__version__)

# 필수 라이브러리 불러오기
from sklearn.datasets import load_iris
from sklearn import tree 
import matplotlib.pyplot as plt

# 데이터 불러오기
iris = load_iris()
print(iris.data.shape, iris.target.shape)
print("feature names", iris.feature_names)
print("class names", iris.target_names)

# 모형 학습 및 plot_tree 그래프 구현
dt = tree.DecisionTreeClassifier(random_state=0)
dt.fit(iris.data, iris.target)

fig, ax = plt.subplots(figsize=(10, 6))
ax = tree.plot_tree(dt, max_depth = 2, filled=True, feature_names = iris.feature_names, class_names = iris.target_names)
plt.show()

1.0.2
3.5.1
(150, 4) (150,)
feature names ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
class names ['setosa' 'versicolor' 'virginica']

R 텍스트 마이닝 1일차 - 빅카인즈 데이터 수집

Sun, 13 Mar 2022 17:38:15 +0900

Step 01 - 빅카인즈 접속 후, 데이터 내려받기

싸이트 : https://www.bigkinds.or.kr/v2/news/index.do
해당 싸이트에서 키워드를 입력 한다.
- 이 때, 기간, 신문사 등을 선택할 수 있다.
- 필자는 키워드는 ‘사회적 경제’ 신문사는 국민일보, 조선일보, 중앙일보를 선택한다.
- 하단으로 내려 적용하기 버튼을 클릭한다.

Step 03 - 분석 결과 및 시각화 탭을 클릭한다.
- 데이터 다운로드 탭 하단에 엑셀 다운로드 버튼을 클릭한다.

해당 파일에는 본문이 있지만, 보통 200자 내외로 짧게 요약이 되어 있다.

Step 02 - 웹 크롤링 소스 코드 작성을 위한 사전 준비

먼저 기 다운로드 된 파일을 불러온다.
전체 데이터에서 필요한 컬럼만 재추출한다.

> library(dplyr)
> library(readxl)
> raw_df = read_excel("data/NewsResult_20211213-20220313.xlsx", sheet = 1)
> raw_df2 = raw_df %>% select(일자, 언론사, 제목, URL)
> raw_df2 %>% group_by(언론사) %>% summarise(n = n())
# A tibble: 3 × 2  
언론사       n  
<chr>    <int>
1 국민일보   180
2 조선일보   115 
3 중앙일보   256

각 신문사별로 나눠서 객체를 저장한다. 여기에서는 국민일보만 추출하는 코드를 예시로 하였다.

> kmib_df = raw_df2 %>% filter(언론사 == "국민일보")
> head(kmib_df, 3)
# A tibble: 3 × 4  일자     언론사   제목                                         URL                   
<chr>    <chr>    <chr>                                        <chr>               
1 20220312 국민일보 팬데믹의 비극 무너지는 가정, 스러지는 아이들 http://news.kmib.co…
2 20220312 국민일보 ‘장로’ 디딤돌인가 걸림돌인가                 http://news.kmib.co…
3 20220311 국민일보 [기고]대전은 우리가 지킨다                   http://news.kmib.co…

이번에는 URL만 추출하여 특이점이 있는지 확인한다.
- 전체적으로 주소는 비슷하다.
- 몇몇 주소에서는 &cp=kd 같은 문자가 더 추가된 것을 확인할 수 있다.
- 서로 다른 싸이트에서 본문의 위치 등이 동일한지 다른지 확인할 필요가 있다. (확인 결과, 차이는 없다!)

> kmib_df$URL[1:5]
[1] "http://news.kmib.co.kr/article/view.asp?arcid=0924235144&code=11131100"      
[2] "http://news.kmib.co.kr/article/view.asp?arcid=0924235120&code=23111111"      
[3] "http://news.kmib.co.kr/article/view.asp?arcid=0016856942&code=61221514&cp=kd"
[4] "http://news.kmib.co.kr/article/view.asp?arcid=0016853803&code=61111711&cp=kd"
[5] "http://news.kmib.co.kr/article/view.asp?arcid=0016847353&code=61131111&cp=kd"

Step 03 - 웹 크롤링 본문 내용 발췌

이번에는 본문만 크롤링 하도록 한다.
- 1개의 데이터만 가져와서 테스트를 해본다.

> url = kmib_df$URL[1]
> news = read_html(url, encoding = "EUC-KR")
> news
{html_document}<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ko">
[1] <head>\n<title>팬데믹의 비극… 무너지는 가정, 스러지는 아이들-국민일보</title>\n<meta http-equiv="Cont ...
[2] <body>\r\n<div id="wrap">\r\n\r\n<!-- header -->\r\n\r\n<script src="http://ww ...

여기에서 div 태그 안에 있는 class tx 하단에 텍스트가 있는 것을 확인할 수 있다.

Heroku App 배포

Wed, 23 Feb 2022 10:10:47 +0900

개요

Heroku App을 배포하는 과정을 작성한다.
가장 중요한 것은 Git과 연동이 되어 있어야 한다.
- 깃허브 : https://github.com/
- GIT : https://git-scm.com/
- 이 부분에 대한 설치 과정은 생략한다.
배포하려는 프로젝트는 다음 링크에서 확인한다.
- 참고 : Python Sales Dashboard Using Dash and Plotly

Procfile 생성

프로젝트 Root 디렉터리에 Procfile 을 생성한다.

web: gunicorn index:server

이 때, index 파일명을 의미한다.

작업 파일 수정

index.py을 열고, 다음 코드를 추가한다.
- server = app.server 을 추가한다.

app = dash.Dash(__name__, meta_tags=[{"name": "viewport",
                                      "content": "width=device-width"}])

server = app.server

Runtime 파일 추가

어떤 파이썬 버전에서 실행할 것인지 해당 코드를 작성한다. (runtime.txt)
- 마찬가지로 프로젝트의 Root 디렉토리에서 생성한다.

python-3.8.7

Heroku 로그인 및 App 생성

Heroku 회원가입을 안했다면, 진행한다.

Python Sales Dashboard Using Dash and Plotly

Sun, 13 Feb 2022 18:10:47 +0900

개요

Sales 데이터를 활용하여 대시보드를 만드는 과정을 제작한다.
기본 파이썬 코딩은 할 줄 안다는 전제하에 작성하며, 세부 내용이 필요하면 참고 자료를 확인할 것을 권한다.
윈도우 10에서 본 프로젝트를 수행하였다.

Chapter 1. Github Repo 생성

필자는 Github 레포를 만들었다. (Repo 명: python_dash_sales)
git clone을 통해서 로컬로 가져온다.

$ git clone https://github.com/your_id/python_dash_sales.git

Chapter 2. Python 프로젝트 생성

PyCharm을 주 에디터로 사용할 예정이다.

BigQuery ML을 사용한 펭귄 체중 예측

Fri, 21 Jan 2022 10:30:30 +0900

개요

BigQuery ML을 소개한다.
BigQuery ML을 사용하면, 머신러닝 모델을 만들고 또한 실행할 수 있다.

목표

BigQuery ML에서 CREATE MODEL 문을 사용하여 선형회귀 모델 만들기
ML.EVALUATE 함수를 사용하여 ML 모델 평가
ML.PREDICT 함수를 사용하여 ML 모델 예측

주의 사항

BigQuery 비용 관련된 문서는 다음과 같다.
- BigQuery 가격 책정: https://cloud.google.com/bigquery/pricing
- BigQuery 가격 책정**:** https://cloud.google.com/bigquery-ml/pricing

1단계: 데이터 세트 만들기

데이터 세트 ID에 bqml_practice 입력
데이터 위치로 미국 US 선택
나머지는 모두 Default로 설정한다.

2단계: 모델 만들기

데이터 소개

먼저 데이터를 소개한다.
데이터 원 자료는 해당 논문에서 확인할 수 있다.
- https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0090081
데이터 셋에 대한 설명은 다음과 같다.
- species — 펭귄의 종(문자열)
- island — 펭귄이 사는 섬(문자열)
- culmen_length_mm — 컬멘 길이(밀리미터)(FLOAT64).
- culmen_depth_mm — 컬멘 깊이(밀리미터)(FLOAT64)
- flipper_length_mm — 지느러미의 길이(밀리미터)(FLOAT64)
- sex — 펭귄의 성별(문자열)

모델 만들기 코드 실행

CREATE MODEL 명령어를 실행하여 모델을 생성한다.

#standardSQL
CREATE OR REPLACE MODEL `bqml_practice.penguins_model`
OPTIONS
  (model_type='linear_reg',
  input_label_cols=['body_mass_g']) AS
SELECT
  *
FROM
  `bigquery-public-data.ml_datasets.penguins`
WHERE
  body_mass_g IS NOT NULL

실행 결과는 보는 것처럼 Preprocess, Train, Evaluate 작업이 진행 된 것을 확인할 수 있다.

GCP Settings 2022 ver

Tue, 18 Jan 2022 14:00:47 +0900

개요

GCP 빅쿼리를 연동하는 예제를 구현한다.
먼저 빅쿼리를 통해 데이터를 적재하는 예제를 확인한다.
구글 코랩에서 빅쿼리 데이터를 불러온다.
데이터 스튜디오에서 빅쿼리 데이터를 불러온다.

소개

빅쿼리를 소개하는 영상은 유투브에서 검색하면 매우 쉽게 확인할 수 있다.
- 영상 참조: 데이터 웨어하우스 끝판왕 BigQuery 어디까지 알고 계신가요

Google Cloud 회원가입

준비물
- Google 계정
- 신용카드나 체크카드 (개인적으로 돈이 없는 체크카드 사용 권장)
구글 클라우드 사이트 접속
- 싸이트: https://cloud.google.com/
무료 서버 받으려면 아래 화면에서 TRY IT FREE 를 클릭한다.

Spark Installation on M1 Mac

Wed, 05 Jan 2022 14:00:47 +0900

사전준비

M1 Mac에서 스파크를 설치하는 과정을 소개 하려고 한다.
필자의 Python 버전은 아래와 같다.

$ python --version
Python 3.8.7

자바 설치

자바 설치는 아래에서 다운로드 받았다.
- URL: Java SE Development Kit 8u301

그 다음 자바 설치를 확정한다.

$ java --showversion

만약 에러가 아래와 같은 에러가 발생한다면, 시스템 환경설정 - Java - 업데이트 항목을 순차적으로 클릭한다.

$ java --showversion
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

Spark Installation on Windows 10

Mon, 03 Jan 2022 14:00:47 +0900

사전준비

스파크를 설치하는 과정은 소개 하려고 한다.
사전에 파이썬 3만 설치가 되어 있으면 된다.
만약, 파이썬이 처음이라면 Anaconda를 설치한다.

다운로드 전 필수 확인사항

스파크 설치 전에는 반드시 체크해야 하는 사항이 있다. (System Compatibility)
2022년 1월 기준은 아래와 같다.

Get Spark from the downloads page of the project website. This documentation is for Spark version 3.2.0. Spark uses Hadoop’s client libraries for HDFS and YARN. Downloads are pre-packaged for a handful of popular Hadoop versions. Users can also download a “Hadoop free” binary and run Spark with any Hadoop version by augmenting Spark’s classpath. Scala and Java users can include Spark in their projects using its Maven coordinates and Python users can install Spark from PyPI.

PyCaret Installation on M1 Mac

Fri, 31 Dec 2021 14:00:47 +0900

PyCaret Installation on M1 Mac

개요

M1 Mac에서 PyCaret을 설치하고 싶었다.
PyCaret 은 AutoML 라이브러리이며, 단 몇줄의 코드로 복잡한 기계학습을 학습 및 비교할 수 있도록 구현한 코드라고 볼 수 있다.
- PyCaret 패키지: https://pycaret.org/
M1 Mac에서 해당 라이브러리를 사용하려면 크게 2가지 필수 전제 조건이 있다.
- LightGBM, XGboost 설치

1. PyCaret 설치 방법

일반 인텔 기반의 Mac의 설치는 매우 쉽다. (Intel Mac)

$ brew install lightgbm

그러나, M1 Mac에서는 생각보다 쉽지 않다.
- 물론, Rosetta로 터미널을 바꾸면 Intel Mac 처럼 쓸 수 있다. 그러나, M1의 GPU를 활용하려면 기존 설치 방법으로는 적용이 어렵다.

(1) Step 01. Xcode Command Line Tools

처음 M1를 구매했다면, Xcode Command Line Tools를 Apple Developer를 통해서 설치한다.

(2) Step 02. miniforge 설치

본 블로그에서 가장 중요하다.
2021년 12월 기준 시점에서는 반드시 설치를 해야 한다.
- GPU를 사용하기 위해서는 LightGBM, XGBoost, PyCaret은 Conda 기반으로만 설치가 가능하다.
설치 파일 주소: https://github.com/conda-forge/miniforge
- 설치 시, 아래 그림과 같이 arm64 Apple Silicon을 선택해서 다운로드 받아야 한다.

PyCaret, Skorch Using Pipeline

Tue, 28 Dec 2021 16:11:47 +0900

개요

Scikit-Learn의 Pipeline은 강력하다.
PyCaret, Skorch에도 사용이 가능하다.
Google Colab에서 시도해보자.

필수 라이브러리 설치

pycaret을 설치 한 후에는 반드시 런타임 재시작을 클릭한다.

!pip install pycaret

Collecting pycaret
  Downloading pycaret-2.3.5-py3-none-any.whl (288 kB)
.
.
Successfully installed Boruta-0.3 Mako-1.1.6 PyYAML-6.0 alembic-1.4.1 databricks-cli-0.16.2 docker-5.0.3 funcy-1.17 gitdb-4.0.9 gitpython-3.1.24 gunicorn-20.1.0 htmlmin-0.1.12 imagehash-4.2.1 imbalanced-learn-0.7.0 joblib-1.0.1 kmodes-0.11.1 lightgbm-3.3.1 mlflow-1.22.0 mlxtend-0.19.0 multimethod-1.6 pandas-profiling-3.1.0 phik-0.12.0 prometheus-flask-exporter-0.18.7 pyLDAvis-3.2.2 pycaret-2.3.5 pydantic-1.8.2 pynndescent-0.5.5 pyod-0.9.6 python-editor-1.0.4 querystring-parser-1.2.4 requests-2.26.0 scikit-learn-0.23.2 scikit-plot-0.3.7 scipy-1.5.4 smmap-5.0.0 tangled-up-in-unicode-0.1.0 umap-learn-0.5.2 visions-0.7.4 websocket-client-1.2.3

!pip install -U skorch

Requirement already satisfied: skorch in /usr/local/lib/python3.7/dist-packages (0.11.0)
Requirement already satisfied: tabulate>=0.7.7 in /usr/local/lib/python3.7/dist-packages (from skorch) (0.8.9)
Requirement already satisfied: scikit-learn>=0.19.1 in /usr/local/lib/python3.7/dist-packages (from skorch) (0.23.2)
Requirement already satisfied: tqdm>=4.14.0 in /usr/local/lib/python3.7/dist-packages (from skorch) (4.62.3)
Requirement already satisfied: numpy>=1.13.3 in /usr/local/lib/python3.7/dist-packages (from skorch) (1.19.5)
Requirement already satisfied: scipy>=1.1.0 in /usr/local/lib/python3.7/dist-packages (from skorch) (1.5.4)
Requirement already satisfied: joblib>=0.11 in /usr/local/lib/python3.7/dist-packages (from scikit-learn>=0.19.1->skorch) (1.0.1)
Requirement already satisfied: threadpoolctl>=2.0.0 in /usr/local/lib/python3.7/dist-packages (from scikit-learn>=0.19.1->skorch) (3.0.0)

from pycaret.datasets import get_data
data = get_data("electrical_grid")

	tau1	tau2	tau3	tau4	p1	p2	p3	p4	g1	g2	g3	g4	stabf
0	2.959060	3.079885	8.381025	9.780754	3.763085	-0.782604	-1.257395	-1.723086	0.650456	0.859578	0.887445	0.958034	unstable
1	9.304097	4.902524	3.047541	1.369357	5.067812	-1.940058	-1.872742	-1.255012	0.413441	0.862414	0.562139	0.781760	stable
2	8.971707	8.848428	3.046479	1.214518	3.405158	-1.207456	-1.277210	-0.920492	0.163041	0.766689	0.839444	0.109853	unstable
3	0.716415	7.669600	4.486641	2.340563	3.963791	-1.027473	-1.938944	-0.997374	0.446209	0.976744	0.929381	0.362718	unstable
4	3.134112	7.608772	4.943759	9.857573	3.525811	-1.125531	-1.845975	-0.554305	0.797110	0.455450	0.656947	0.820923	unstable

PyTorchModel

sktorch 라이브러리는 PyTorch 모델과 함께 작동한다.
MLP 모델을 작성하는 클래스를 설계한다.

import torch.nn as nn

class Net(nn.Module): 
  def __init__(self, num_inputs=12, num_units_d1 = 200, num_units_d2 = 100):
    super(Net, self).__init__() 

    self.dense0 = nn.Linear(num_inputs, num_units_d1)
    self.nonlin = nn.ReLU()
    self.dropout = nn.Dropout(0.5)
    self.dense1 = nn.Linear(num_units_d1, num_units_d2)
    self.output = nn.Linear(num_units_d2, 2)
    self.softmax = nn.Softmax(dim=-1)

  def forward(self, X, **kwargs):
    X = self.nonlin(self.dense0(X))
    X = self.dropout(X)
    X = self.nonlin(self.dense1(X))
    X = self.softmax(self.output(X))
    return X

Skorch Classifier

NeuralNetClassifier 클래스를 PyTorch 클래스와 연동한다.
Optimizer 기본값인 SGD를 사용한다. 만약 다른 Optimizer로 변경을 원하면 다음 링크에서 확인한다.
- 참고: https://skorch.readthedocs.io/en/latest/user/neuralnet.html#optimizer
Sktorch 5 폴드 교차검증을 수행한다.
- 학습 데이터는 80%, 나머지 20%는 검증 데이터로 활용한다.

from skorch import NeuralNetClassifier 

net = NeuralNetClassifier(
    module = Net, 
    max_epochs = 30, 
    lr = 0.1, 
    batch_size = 32, 
    train_split = None
)

PyCaret과 신경망 학습 방법

SKORCH NN model을 초기화 했다면, 이번에는 PyCaret과 함께 모델을 학습할 수 있다.
PyCaret은 기본적으로 Pandas DataFrame을 메인 객체로 사용하다.
그런데, sktorch model을 사용하기 위해서는 pipeline을 구성할 때는 DataFrameTransformer() 함수를 사용해야 한다.

from skorch.helper import DataFrameTransformer
import numpy as np
from sklearn.pipeline import Pipeline

nn_pipe = Pipeline(
    [("transform", DataFrameTransformer()), 
     ("net", net), ]
)

PyCaret Setup

Skorch API 대신 PyCaret 모델을 사용해본다.
log_experiment가 True를 사용하게 되면 MLFlow를 사용할 수 있다.
silent가 True인 경우 중간에 발생하는 press enter to continue 입력 단계를 피할 수 있다.

from pycaret.classification import *
target = "stabf"
clf1 = setup(data = data, 
            target = target,
            train_size = 0.8,
            fold = 5,
            session_id = 123,
            log_experiment = True, 
            experiment_name = 'electrical_grid_1', 
            silent = True)

	Description	Value
0	session_id	123
1	Target	stabf
2	Target Type	Binary
3	Label Encoded	stable: 0, unstable: 1
4	Original Data	(10000, 13)
5	Missing Values	False
6	Numeric Features	12
7	Categorical Features	0
8	Ordinal Features	False
9	High Cardinality Features	False
10	High Cardinality Method	None
11	Transformed Train Set	(8000, 12)
12	Transformed Test Set	(2000, 12)
13	Shuffle Train-Test	True
14	Stratify Train-Test	False
15	Fold Generator	StratifiedKFold
16	Fold Number	5
17	CPU Jobs	-1
18	Use GPU	False
19	Log Experiment	True
20	Experiment Name	electrical_grid_1
21	USI	9626
22	Imputation Type	simple
23	Iterative Imputation Iteration	None
24	Numeric Imputer	mean
25	Iterative Imputation Numeric Model	None
26	Categorical Imputer	constant
27	Iterative Imputation Categorical Model	None
28	Unknown Categoricals Handling	least_frequent
29	Normalize	False
30	Normalize Method	None
31	Transformation	False
32	Transformation Method	None
33	PCA	False
34	PCA Method	None
35	PCA Components	None
36	Ignore Low Variance	False
37	Combine Rare Levels	False
38	Rare Level Threshold	None
39	Numeric Binning	False
40	Remove Outliers	False
41	Outliers Threshold	None
42	Remove Multicollinearity	False
43	Multicollinearity Threshold	None
44	Remove Perfect Collinearity	True
45	Clustering	False
46	Clustering Iteration	None
47	Polynomial Features	False
48	Polynomial Degree	None
49	Trignometry Features	False
50	Polynomial Threshold	None
51	Group Features	False
52	Feature Selection	False
53	Feature Selection Method	classic
54	Features Selection Threshold	None
55	Feature Interaction	False
56	Feature Ratio	False
57	Interaction Threshold	None
58	Fix Imbalance	False
59	Fix Imbalance Method	SMOTE

PyCaret Train Model

Random Forest 모델을 사용해본다.

model = create_model("rf")

	Accuracy	AUC	Recall	Prec.	F1	Kappa	MCC
0	0.9244	0.9796	0.9667	0.9189	0.9422	0.8331	0.8353
1	0.9275	0.9793	0.9549	0.9330	0.9438	0.8417	0.8422
2	0.9225	0.9810	0.9608	0.9211	0.9406	0.8294	0.8309
3	0.9081	0.9738	0.9461	0.9130	0.9293	0.7983	0.7993
4	0.9044	0.9738	0.9471	0.9071	0.9267	0.7894	0.7909
Mean	0.9174	0.9775	0.9551	0.9186	0.9365	0.8184	0.8197
SD	0.0093	0.0031	0.0079	0.0087	0.0071	0.0206	0.0206

PyCaret Train Skorch Model

이번에는 Skorch Model을 Pycaret 함수에 넣어서 확인해본다.

skorch_model = create_model(nn_pipe)

	Accuracy	AUC	Recall	Prec.	F1	Kappa	MCC
0	0.8831	0.9644	0.9500	0.8769	0.9120	0.7389	0.7441
1	0.8550	0.9437	0.9569	0.8385	0.8938	0.6685	0.6831
2	0.8369	0.9280	0.9638	0.8146	0.8829	0.6202	0.6446
3	0.8506	0.9347	0.8668	0.8957	0.8810	0.6805	0.6812
4	0.8081	0.9411	0.9765	0.7789	0.8666	0.5400	0.5859
Mean	0.8468	0.9424	0.9428	0.8409	0.8873	0.6496	0.6678
SD	0.0245	0.0123	0.0390	0.0421	0.0151	0.0666	0.0519

Comparing Models

두 모델 중 어떤 모델이 더 좋은지 확인해본다.

best_model = compare_models(include=[skorch_model, model], sort = "AUC")

	Model	Accuracy	AUC	Recall	Prec.	F1	Kappa	MCC	TT (Sec)
1	Random Forest Classifier	0.9174	0.9775	0.9551	0.9186	0.9365	0.8184	0.8197	2.114
0	NeuralNetClassifier	0.8426	0.9400	0.9547	0.8281	0.8861	0.6355	0.6565	11.878

Hyperparameter Grid

Hyperparameter 튜닝을 적용하도록 한다.
모형 튜닝을 위한 parameter 값은 다음 명령어를 통해서 확인할 수 있다.

skorch_model.get_params().keys()

dict_keys(['memory', 'steps', 'verbose', 'transform', 'net', 'transform__float_dtype', 'transform__int_dtype', 'transform__treat_int_as_categorical', 'net__module', 'net__criterion', 'net__optimizer', 'net__lr', 'net__max_epochs', 'net__batch_size', 'net__iterator_train', 'net__iterator_valid', 'net__dataset', 'net__train_split', 'net__callbacks', 'net__predict_nonlinearity', 'net__warm_start', 'net__verbose', 'net__device', 'net___kwargs', 'net__classes', 'net__callbacks__epoch_timer', 'net__callbacks__train_loss', 'net__callbacks__train_loss__name', 'net__callbacks__train_loss__lower_is_better', 'net__callbacks__train_loss__on_train', 'net__callbacks__valid_loss', 'net__callbacks__valid_loss__name', 'net__callbacks__valid_loss__lower_is_better', 'net__callbacks__valid_loss__on_train', 'net__callbacks__valid_acc', 'net__callbacks__valid_acc__scoring', 'net__callbacks__valid_acc__lower_is_better', 'net__callbacks__valid_acc__on_train', 'net__callbacks__valid_acc__name', 'net__callbacks__valid_acc__target_extractor', 'net__callbacks__valid_acc__use_caching', 'net__callbacks__print_log', 'net__callbacks__print_log__keys_ignored', 'net__callbacks__print_log__sink', 'net__callbacks__print_log__tablefmt', 'net__callbacks__print_log__floatfmt', 'net__callbacks__print_log__stralign'])

net.get_params().keys()

dict_keys(['module', 'criterion', 'optimizer', 'lr', 'max_epochs', 'batch_size', 'iterator_train', 'iterator_valid', 'dataset', 'train_split', 'callbacks', 'predict_nonlinearity', 'warm_start', 'verbose', 'device', '_kwargs', 'classes', 'callbacks__epoch_timer', 'callbacks__train_loss', 'callbacks__train_loss__name', 'callbacks__train_loss__lower_is_better', 'callbacks__train_loss__on_train', 'callbacks__valid_loss', 'callbacks__valid_loss__name', 'callbacks__valid_loss__lower_is_better', 'callbacks__valid_loss__on_train', 'callbacks__valid_acc', 'callbacks__valid_acc__scoring', 'callbacks__valid_acc__lower_is_better', 'callbacks__valid_acc__on_train', 'callbacks__valid_acc__name', 'callbacks__valid_acc__target_extractor', 'callbacks__valid_acc__use_caching', 'callbacks__print_log', 'callbacks__print_log__keys_ignored', 'callbacks__print_log__sink', 'callbacks__print_log__tablefmt', 'callbacks__print_log__floatfmt', 'callbacks__print_log__stralign'])

import torch.optim as optim

custom_grid = {
	'net__max_epochs':[20, 30],
	'net__lr': [0.01, 0.05, 0.1],
	'net__module__num_units_d1': [50, 100, 150],
	'net__module__num_units_d2': [50, 100, 150],
	'net__optimizer': [optim.Adam, optim.SGD, optim.RMSprop]
	}

이번에는 hyperparameter 모델을 적용하여 모델을 빠르게 만들어 본다.

tuned_skorch_model = tune_model(skorch_model, custom_grid = custom_grid)

	Accuracy	AUC	Recall	Prec.	F1	Kappa	MCC
0	0.8762	0.9667	0.9686	0.8562	0.9089	0.7182	0.7316
1	0.8675	0.9477	0.8784	0.9106	0.8942	0.7171	0.7179
2	0.8375	0.9452	0.7835	0.9535	0.8602	0.6706	0.6891
3	0.8575	0.9522	0.8208	0.9490	0.8803	0.7066	0.7180
4	0.7975	0.9315	0.9726	0.7704	0.8597	0.5127	0.5602
Mean	0.8472	0.9487	0.8848	0.8879	0.8807	0.6650	0.6834
SD	0.0280	0.0114	0.0763	0.0684	0.0192	0.0781	0.0631

References

Python with PostgreSQL - Create Database

Mon, 27 Dec 2021 17:00:47 +0900

PostgreSQL 및 Python 연동 예제

다음 예제에서는 Python과 PostgreSQL이 연동되는 코드를 작성해본다.
PostgreSQL 설치 방법은 다음 자료를 확인한다.
- https://dschloe.github.io/settings/postgresql_install_windows/

라이브러리 설치

우선 설치를 진행한다.

$ pip install psycopg2-binary
Downloading psycopg2_binary-2.9.2-cp310-cp310-win_amd64.whl (1.2 MB)
     |████████████████████████████████| 1.2 MB 6.4 MB/s
Installing collected packages: psycopg2-binary
Successfully installed psycopg2-binary-2.9.2

현재 Database 확인

cmd 파일 창을 열고, 현재 DB 리스트를 확인한다.
- \list or l: 전체 databases 리스트를 조회한다.

C:\Users\user>psql --username=postgres
postgres 사용자의 암호:
psql (13.5)
도움말을 보려면 "help"를 입력하십시오.
postgres=# \l
데이터베이스 목록
   이름    |  소유주  | 인코딩 |     Collate      |      Ctype       |      액세스 권한
-----------+----------+--------+------------------+------------------+-----------------------
 postgres  | postgres | UTF8   | Korean_Korea.949 | Korean_Korea.949 |
 template0 | postgres | UTF8   | Korean_Korea.949 | Korean_Korea.949 | =c/postgres          +
           |          |        |                  |                  | postgres=CTc/postgres
 template1 | postgres | UTF8   | Korean_Korea.949 | Korean_Korea.949 | =c/postgres          +
           |          |        |                  |                  | postgres=CTc/postgres
(3개 행)

Database 생성

데이터 베이스를 생성하는 코드를 작성한다.
참조: https://kb.objectrocket.com/postgresql/create-a-postgresql-database-using-the-psycopg2-python-library-755

# import the psycopg2 database adapter for PostgreSQL
from psycopg2 import connect, extensions

# connect
def createDB():
    conn = connect(
        database="postgres", user='postgres', password='your_password', host='127.0.0.1', port='5432'
    )

    # object type: psycopg2.extensions.connection
		# object type: conn 객체 유형을 확인한다. 
    print("\ntype(conn):", type(conn))

    # 명령 처리 함수 구현
    cursor = conn.cursor()

    # Create Database Creation
		# 먼저 DB_NAME을 생성한다. 
		
    DB_NAME = "testDB"
	
    # get the isolation leve for autocommit
		# autocommit을 설정한다. 
    autocommit = extensions.ISOLATION_LEVEL_AUTOCOMMIT
    print("ISOLATION_LEVEL_AUTOCOMMIT:", extensions.ISOLATION_LEVEL_AUTOCOMMIT)

    # set the isolation level for the connection's cursors
    # will raise ActiveSqlTransaction exception otherwise
    conn.set_isolation_level(autocommit)

    # Create Database
    # instantiate a cursor object from the connection
    cursor = conn.cursor()

    # use the execute METHOD to make a SQL Request
    cursor.execute("CREATE DATABASE " + str(DB_NAME))
    print("Database created successfully...!")

    # close the cursor to avoid memory leaks
    cursor.close

    # Connection Closed to avoid memory leaks
    conn.close()

if __name__ == "__main__":
    createDB()

DB 생성시 중요한 건, autocommit을 설정해줘야 한다는 것이다. 만약 해당 설정을 삭제하고 재 실행하면, psycopg2.errors.ActiveSqlTransaction: CREATE DATABASE cannot run inside a transaction block 과 같은 에러 메시지가 나타나게 될 것이다.

현재 Database 확인

cmd 파일 창을 열고, 현재 DB 리스트를 확인한다.
- \list or l: 전체 databases 리스트를 조회한다.
- testdb가 생성된 것을 확인할 수 있다.

postgres=# \l
                                      데이터베이스 목록
   이름    |  소유주  | 인코딩 |     Collate      |      Ctype       |      액세스 권한
-----------+----------+--------+------------------+------------------+-----------------------
 postgres  | postgres | UTF8   | Korean_Korea.949 | Korean_Korea.949 |
 template0 | postgres | UTF8   | Korean_Korea.949 | Korean_Korea.949 | =c/postgres          +
           |          |        |                  |                  | postgres=CTc/postgres
 template1 | postgres | UTF8   | Korean_Korea.949 | Korean_Korea.949 | =c/postgres          +
           |          |        |                  |                  | postgres=CTc/postgres
 testdb    | postgres | UTF8   | Korean_Korea.949 | Korean_Korea.949 |
(4개 행)

Database 삭제

이번에는 Database를 삭제하는 코드를 작성하고, 실행하여 testdb를 삭제하도록 한다.

# import the psycopg2 database adapter for PostgreSQL
from psycopg2 import connect, extensions

# delete
def deleteDB():
    conn = connect(
        database="postgres", user='postgres', password='your_password', host='127.0.0.1', port='5432'
    )

    # object type: psycopg2.extensions.connection
    print("\ntype(conn):", type(conn))

    # SQL Query
    DB_NAME = "testDB"
    # get the isolation leve for autocommit
    autocommit = extensions.ISOLATION_LEVEL_AUTOCOMMIT
    print("ISOLATION_LEVEL_AUTOCOMMIT:", extensions.ISOLATION_LEVEL_AUTOCOMMIT)

    # set the isolation level for the connection's cursors
    # will raise ActiveSqlTransaction exception otherwise
    conn.set_isolation_level(autocommit)

    # Create Database
    # instantiate a cursor object from the connection
    # 명령 처리 함수 구현
    cursor = conn.cursor()

    # use the execute METHOD to make a SQL Request
    cursor.execute("DROP DATABASE " + str(DB_NAME))
    print("Database Drop successfully...!")

    # close the cursor to avoid memory leaks
    cursor.close()

    # Connection Closed to avoid memory leaks
    conn.close()

if __name__ == "__main__":
    # createDB()
    deleteDB()

현재 Database 확인

cmd 파일 창을 열고, 현재 DB 리스트를 확인한다.
- \list or l: 전체 databases 리스트를 조회한다.
- testdb 가 삭제된 것을 확인할 수 있다.

C:\Users\user>psql --username=postgres
postgres 사용자의 암호:
psql (13.5)
도움말을 보려면 "help"를 입력하십시오.
postgres=# \l
데이터베이스 목록
   이름    |  소유주  | 인코딩 |     Collate      |      Ctype       |      액세스 권한
-----------+----------+--------+------------------+------------------+-----------------------
 postgres  | postgres | UTF8   | Korean_Korea.949 | Korean_Korea.949 |
 template0 | postgres | UTF8   | Korean_Korea.949 | Korean_Korea.949 | =c/postgres          +
           |          |        |                  |                  | postgres=CTc/postgres
 template1 | postgres | UTF8   | Korean_Korea.949 | Korean_Korea.949 | =c/postgres          +
           |          |        |                  |                  | postgres=CTc/postgres
(3개 행)

소결

해당 함수에서 불필요하게 재반복해서 사용하는 코드들이 있다.
이러한 재반복 코드는 Class로 정의해서 사용하면 훨씬 더 간결하게 작성할 수 있다.
다음번에는 Class로 정의해서 코드를 작성하도록 한다.

Verifying Outlier Values

Sun, 19 Dec 2021 11:10:47 +0900

이상값의 정의

다소 주관적이며(Somewhat Subjective), 특정 분포의 중심경향성, 퍼진 정도와 형태에 따라 밀접한 관련이 있다.
- 평균에서 표준편차보다 몇 배 더 떨어져 있다거나, 즉, 정규분포를 이루고 있지 않을 때
- 왜도 또는 첨도가 발생할 때
균등분포(Uniform Distribution)는, 발생할 확률이 모두 같다.
- 만약, 확진자수가 최소 1부터 최대 10,000,000까지 균등하게 분포한다면, 어떤 값도 이상값으로 고려하지 않는다.
이상값을 파악하려면, 반드시, 각 변수의 분포를 먼저 이해해야 한다.

라이브러리 및 데이터 불러오기

실습을 위한 데이터를 불러온다.

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import statsmodels.api as sm
import scipy.stats as scistat

covidtotals = pd.read_csv("data/covidtotals.csv")
covidtotals.set_index("iso_code", inplace = True)

case_vars = ["location", "total_cases", "total_deaths", "total_cases_pm", "total_deaths_pm"]
demo_vars = ["population", "pop_density", "median_age", "gdp_per_capita", "hosp_beds"]

print(covidtotals.head())

            lastdate     location  total_cases  total_deaths  total_cases_pm  \
iso_code                                                                       
AFG       2020-06-01  Afghanistan        15205           257         390.589   
ALB       2020-06-01      Albania         1137            33         395.093   
DZA       2020-06-01      Algeria         9394           653         214.225   
AND       2020-06-01      Andorra          764            51        9888.048   
AGO       2020-06-01       Angola           86             4           2.617   

          total_deaths_pm  population  pop_density  median_age  \
iso_code                                                         
AFG                 6.602  38928341.0       54.422        18.6   
ALB                11.467   2877800.0      104.871        38.0   
DZA                14.891  43851043.0       17.348        29.1   
AND               660.066     77265.0      163.755         NaN   
AGO                 0.122  32866268.0       23.890        16.8   

          gdp_per_capita  hosp_beds  
iso_code                             
AFG             1803.987       0.50  
ALB            11803.431       2.89  
DZA            13913.839       1.90  
AND                  NaN        NaN  
AGO             5819.495        NaN

describe() 함수를 통해 수치 데이터의 분포를 확인하도록 한다.

covid_case_df = covidtotals.loc[:, case_vars]
print(covid_case_df.describe())

        total_cases   total_deaths  total_cases_pm  total_deaths_pm
count  2.100000e+02     210.000000      210.000000       210.000000
mean   2.921614e+04    1770.714286     1355.357943        55.659129
std    1.363978e+05    8705.565857     2625.277497       144.785816
min    0.000000e+00       0.000000        0.000000         0.000000
25%    1.757500e+02       4.000000       92.541500         0.884750
50%    1.242500e+03      25.500000      280.928500         6.154000
75%    1.011700e+04     241.250000     1801.394750        31.777250
max    1.790191e+06  104383.000000    19771.348000      1237.551000

백분위수(quantile)로 데이터를 표시한다.

print(covid_case_df.quantile(np.arange(0.0, 1.1, 0.1)))

     total_cases  total_deaths  total_cases_pm  total_deaths_pm
0.0          0.0           0.0          0.0000           0.0000
0.1         22.9           0.0         17.9986           0.0000
0.2        105.2           2.0         56.2910           0.3752
0.3        302.0           6.7        115.4341           1.7183
0.4        762.0          12.0        213.9734           3.9566
0.5       1242.5          25.5        280.9285           6.1540
0.6       2514.6          54.6        543.9562          12.2452
0.7       6959.8         137.2       1071.2442          25.9459
0.8      16847.2         323.2       2206.2982          49.9658
0.9      46513.1        1616.9       3765.1363         138.9045
1.0    1790191.0      104383.0      19771.3480        1237.5510

왜도는 분포가 얼마나 대칭적인지를 나타냄
왜도와 첨도는 어떻게 대칭적인지를 설명하며, 분포의 꼬리가 각각 얼마나 두꺼운지 나타냄.

covid_case_df.skew(axis=0, numeric_only = True)

total_cases        10.804275
total_deaths        8.929816
total_cases_pm      4.396091
total_deaths_pm     4.674417
dtype: float64

covid_case_df.kurtosis(axis=0, numeric_only = True)

total_cases        134.979577
total_deaths        95.737841
total_cases_pm      25.242790
total_deaths_pm     27.238232
dtype: float64

정규성 검정을 테스트 한다.
- 파이썬 예제: https://www.statology.org/shapiro-wilk-test-python/
p값 0.05미만에서 95% 수준에서 정규분포의 귀무가설을 기각하고, 대립가설을 채택한다.
- 귀무가설: 표본의 모집단이 정규분포를 이루고 있다.
- 대립가설: 표본의 모집단이 정규분포를 이루고 있지 않다.

scistat.shapiro(covid_case_df['total_cases'])

ShapiroResult(statistic=0.19379639625549316, pvalue=3.753789128593843e-29)

scistat.shapiro(covid_case_df['total_deaths'])

ShapiroResult(statistic=0.19832086563110352, pvalue=4.3427896631016077e-29)

scistat.shapiro(covid_case_df['total_cases_pm'])

ShapiroResult(statistic=0.5220695734024048, pvalue=1.3972683006509067e-23)

scistat.shapiro(covid_case_df['total_deaths_pm'])

ShapiroResult(statistic=0.41877639293670654, pvalue=1.361060423265974e-25)

위 4개의 feature 모두 정규분포를 이루고 있지 않음을 확인할 수 있다.
이번에는 qqplot을 그린다.

sm.qqplot(covid_case_df[["total_cases"]].sort_values(["total_cases"]), line = "s")
plt.title("QQ Plot of Total Cases")

Text(0.5, 1.0, 'QQ Plot of Total Cases')

Finding Missing Values

Sat, 18 Dec 2021 11:10:47 +0900

데이터 가져오기

pandas, numpy, matplotlib 라이브러리를 불러온다.
데이터를 불러온다.
- 데이터는 https://ourworldindata.org/coronavirus-source-data 에서 가져왔다. 2020년 6월 1일 기준이다.

import pandas as pd

covidtotals = pd.read_csv("data/covidtotalswithmissings.csv")
print(covidtotals.head())

  iso_code    lastdate     location  total_cases  total_deaths  \
0      AFG  2020-06-01  Afghanistan        15205           257   
1      ALB  2020-06-01      Albania         1137            33   
2      DZA  2020-06-01      Algeria         9394           653   
3      AND  2020-06-01      Andorra          764            51   
4      AGO  2020-06-01       Angola           86             4   

   total_cases_pm  total_deaths_pm  population  pop_density  median_age  \
0         390.589            6.602  38928341.0       54.422        18.6   
1         395.093           11.467   2877800.0      104.871        38.0   
2         214.225           14.891  43851043.0       17.348        29.1   
3        9888.048          660.066     77265.0      163.755         NaN   
4           2.617            0.122  32866268.0       23.890        16.8   

   gdp_per_capita  hosp_beds  
0        1803.987       0.50  
1       11803.431       2.89  
2       13913.839       1.90  
3             NaN        NaN  
4        5819.495        NaN

Missing Value 확인
일부 feature에서 missing value가 있는 것을 확인함.

covidtotals.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 210 entries, 0 to 209
Data columns (total 12 columns):
 #   Column           Non-Null Count  Dtype  
---  ------           --------------  -----  
 0   iso_code         210 non-null    object 
 1   lastdate         210 non-null    object 
 2   location         210 non-null    object 
 3   total_cases      210 non-null    int64  
 4   total_deaths     210 non-null    int64  
 5   total_cases_pm   209 non-null    float64
 6   total_deaths_pm  209 non-null    float64
 7   population       210 non-null    float64
 8   pop_density      198 non-null    float64
 9   median_age       186 non-null    float64
 10  gdp_per_capita   182 non-null    float64
 11  hosp_beds        164 non-null    float64
dtypes: float64(7), int64(2), object(3)
memory usage: 19.8+ KB

데이터를 크게 두개의 기분으로 분류한다.
- Covid case & Demographic Columns

case_vars = ["location", "total_cases", "total_deaths", "total_cases_pm", "total_deaths_pm"]
demo_vars = ["population", "pop_density", "median_age", "gdp_per_capita", "hosp_beds"]

axis 설정을 통해 인구통계와 Covid Cased의 결측치 값을 설정한다.

covidtotals[demo_vars].isnull().sum(axis=0)

population         0
pop_density       12
median_age        24
gdp_per_capita    28
hosp_beds         46
dtype: int64

covidtotals[case_vars].isnull().sum(axis=0)

location           0
total_cases        0
total_deaths       0
total_cases_pm     1
total_deaths_pm    1
dtype: int64

이번에는 행 방향으로 발생한 결측치를 확인한다.
결측치가 없는 행은 156개이고, 1개만 있는 행은 24개 순으로 집계 되었다.

demovars_misscnt = covidtotals[demo_vars].isnull().sum(axis=1)
demovars_misscnt.value_counts()

0    156
1     24
2     12
3     10
4      8
dtype: int64

인구통계 데이터가 3가지 이상 누락된 국가를 나열한다.
- 5개의 값만 추출했다.

print(covidtotals.loc[demovars_misscnt >= 3, ['location'] + demo_vars].head(5).T)

                     3         5                                24  \
location        Andorra  Anguilla  Bonaire Sint Eustatius and Saba   
population      77265.0   15002.0                          26221.0   
pop_density     163.755       NaN                              NaN   
median_age          NaN       NaN                              NaN   
gdp_per_capita      NaN       NaN                              NaN   
hosp_beds           NaN       NaN                              NaN   

                                    28              64  
location        British Virgin Islands  Faeroe Islands  
population                     30237.0         48865.0  
pop_density                    207.973          35.308  
median_age                         NaN             NaN  
gdp_per_capita                     NaN             NaN  
hosp_beds                          NaN             NaN

이번에는 코로나 사례 데이터에서 누락값을 확인한다.
- 홍콩만 사례가 누락된 것을 확인할 수 있다.

totvars_misscnt = covidtotals[case_vars].isnull().sum(axis=1)
totvars_misscnt.value_counts()

0    209
2      1
dtype: int64

print(covidtotals.loc[totvars_misscnt == 2, ['location'] + case_vars].T)

                        87
location         Hong Kong
location         Hong Kong
total_cases              0
total_deaths             0
total_cases_pm         NaN
total_deaths_pm        NaN

print(covidtotals[covidtotals['location'] == "Hong Kong"])

   iso_code    lastdate   location  total_cases  total_deaths  total_cases_pm  \
87      HKG  2020-05-26  Hong Kong            0             0             NaN   

    total_deaths_pm  population  pop_density  median_age  gdp_per_capita  \
87              NaN   7496988.0     7039.714        44.8        56054.92   

    hosp_beds  
87        NaN

방법 1. Inplace 사용

그러나, 가급적 사용하는 것을 추천하지는 않는다.
- 참조: https://towardsdatascience.com/why-you-should-probably-never-use-pandas-inplace-true-9f9f211849e4

# 결측치 채우기
covidtotals = pd.read_csv("data/covidtotalswithmissings.csv")
covidtotals2 = covidtotals.copy()
covidtotals2[case_vars].isnull().sum(axis = 0)

location           0
total_cases        0
total_deaths       0
total_cases_pm     1
total_deaths_pm    1
dtype: int64

covidtotals2.total_cases_pm.fillna(covidtotals2.total_cases/(covidtotals2.population/10000000), inplace = True)
covidtotals2.total_deaths_pm.fillna(covidtotals2.total_deaths/(covidtotals2.population/10000000), inplace = True)
covidtotals2[case_vars].isnull().sum(axis = 0)

location           0
total_cases        0
total_deaths       0
total_cases_pm     0
total_deaths_pm    0
dtype: int64

방법 2. 매칭을 통한 대체

covidtotals = pd.read_csv("data/covidtotalswithmissings.csv")
covidtotals2 = covidtotals.copy()
covidtotals2[case_vars].isnull().sum(axis = 0)

location           0
total_cases        0
total_deaths       0
total_cases_pm     1
total_deaths_pm    1
dtype: int64

covidtotals2.loc[:, 'total_cases_pm'] = covidtotals2.loc[:, 'total_cases_pm'].fillna(value=covidtotals2.total_cases/(covidtotals.population/10000000))
covidtotals2.loc[:, 'total_deaths_pm'] = covidtotals2.loc[:, 'total_deaths_pm'].fillna(value=covidtotals2.total_deaths/(covidtotals.population/10000000))
covidtotals2[case_vars].isnull().sum(axis = 0)

location           0
total_cases        0
total_deaths       0
total_cases_pm     0
total_deaths_pm    0
dtype: int64

References

Walker, M. (2020). Python Data Cleaning Cookbook: Modern techniques and Python tools to detect and remove dirty data and extract key insights. Packt Publishing.

결정 트리 학습 이론

Thu, 09 Dec 2021 21:10:47 +0900

개요

현대 머신러닝 이론의 백본(Backbone)이 되는 결정 트리에 대해 이론적으로 살짝 정리한다.
주요 수식은 Python Machine Learning Second Edition 교재를 주로 참고 하였다. (Page: 90 ~ 94)
- 교재 출처: https://www.amazon.com/Python-Machine-Learning-scikit-learn-TensorFlow/dp/1787125939

결정 트리의 예

결정 트리는 여러가지 연속된 질문을 학습하여 분류하는 것이 원칙이다.
다음의 간단한 예를 들어본다.

결정 트리는 크게 3가지로 구성이 되어 있다.
- 트리 내부 노드, 리프 노드, 그리고 가지로 구성이 되어 있다.
- 어떻게 질문을 하느냐에 따라서 분류가 결정된다.
결정 트리는 숫자에도 적용할 수 있다.
- 예) 키가 160cm보다 큰가요?

결정 트리의 주요 원리

결정 트리는 트리의 루트(Root)에서 시작하여, 정보 이득(Information Gain, IG)가 최대가 되는 특성으로 데이터를 나눔
반복 과정(분류할 수 있는 연속적인 질문)을 통해 계속적으로 분류함
- 전문 용어로는 Until the leaves are pure.
결정 트리에서 가장 중요한 것은 정보 이득 최대화임(Maximizing Information Gain)
- 가장 빠르게 확실하게 분류할 수 있는 질문(Question)
- 다음 예를 살펴본다. (출처: https://www.geeksforgeeks.org/decision-tree-introduction-example/)

Heroku Dash App 배포 - Windows 10

Wed, 01 Dec 2021 09:10:47 +0900

개요

Windows와 Virtualenv를 활용하여 빠르게 App 배포를 해본다.

1. 프로그램 다운로드

설치파일 주소: https://devcenter.heroku.com/articles/getting-started-with-python#set-up
설치할 때, 다음과 같은 에러가 발생할 수 있다.

이럴 경우에는 환경변수를 강제로 잡는다.

C:\Program Files\heroku\bin

Heroku가 제대로 환경설정이 되어 있는지 확인하려면, 터미널에서 다음 명령어를 입력해 확인한다.

$ heroku -v
heroku/7.53.0 win32-x64 node-v12.21.0
(base)

Github 설치: https://git-scm.com/
아나콘다 설치: https://www.anaconda.com/products/individual
각각의 환경설정은 모두 해둬야 한다.

2. Getting Started

Heroku 회원가입을 한다. (https://signup.heroku.com/)
그리고 로그인을 한다.

$ heroku login
heroku: Press any key to open up the browser to login or q to exit:
Opening browser to https://cli-auth.heroku.com/auth/cli/browser/93982084-f22f-4a6b-b347-94f1aa4b6b47?requestor=SFMyNTY.g2gDbQAAAA4xMTIuMTQ0LjIyOC43Nm4GACiKMnR9AWIAAVGA.j9hng63oLOpCVOcHcWyOYDqT4s11jMHDtEesGw5xUD4
heroku: Waiting for login...
Logging in... done
Logged in as your_email@gmail.com

Github Repo를 생성하고, git clone 으로 바탕화면(또는 적정한 곳)에 Repo를 내려 받는다.

$ git clone https://github.com/your_name/heroku-app-green.git

heroku_app 경로에서 다음과 같이 실행한다.
- 이 때, 프로젝트 폴더명, github repo 이름, heroku 이름이 동일해야 한다.
- 또 한가지 주의해야 할 점은 name 방식이다. 무료 방식이기 때문에, 타 사용자가 해당 주소를 사용하고 있다면, 쓸수 없다. 또한, heroku_app 과 같은 형식도 되지 않는다.
- 아래는 heroku app 생성 실패 내역이다.

$ heroku create heroku-app
 »   Warning: heroku update available from 7.53.0 to 7.59.2.
Creating heroku-app... !
 !    Name heroku-app is already taken

정상적으로 설치가 완료되면 다음과 같이 뜬다.

$ heroku create heroku-app-green
 »   Warning: heroku update available from 7.53.0 to 7.59.2.
Creating heroku-app-green... done
https://heroku-app-green.herokuapp.com/ | https://git.heroku.com/heroku-app-green.git
(base)

heroku login을 진행한다.

$ heroku login
heroku: Press any key to open up the browser to login or q to exit: 
Opening browser to https://cli-auth.heroku.com/auth/cli/browser/9320abcd-b8c6-406d-9198-ca14d1e59a26?requestor=SFMyNTY.g2gDbQAAAA4yMjEuMTU3LjM3LjIxNm4GAGgtTBB7AWIAAVGA.GlyVc8jbyiW6NG0MVzCS0bOjtzBWvYRfjB9-gnkQaoQ
Logging in... done
Logged in as your_email_address

이제 마지막으로 heroku app에 repository를 생성한다.

$ heroku git:remote -a your_app
 »   Warning: heroku update available from 7.53.0 to 7.59.2.
set git remote heroku to https://git.heroku.com/heroku-app-green.git

heroku-app-green 이 생긴 것을 확인할 수 있다.

Hexo Blog 재연결

Fri, 26 Nov 2021 14:00:47 +0900

문제점

몇몇 수강생이 노트북과 데스트탑 자리 모두에서 깃헙 블로그를 운영하고 싶어함.
또한, 기존에 올라간 블로그 소스를 그대로 사용하고 싶어함.
그런데, 제대로 반영이 안되는 경우가 있음.

해결책

그런 경우 아래와 같이 순차적으로 진행하면 된다.

$ hexo init your_blog_repo # 여기는 각자 소스 레포 확인
$ cd myblog
$ git init 
$ git remote add origin https://github.com/your_name/your_blog_repo.git # 각자 소스 레포 주소

아래 명령어에서 에러가 발생이 있다.

$ git pull --set-upstream origin main # 에러 발생

그런 경우, 아래 명령어를 추가한다. 기존의 디렉토리와 파일을 모두 삭제한다는 뜻이다.

$ git clean -d -f

그리고 에러가 발생했던 명령어를 다시 실행한다.
이 때에는 이제 정상적으로 실행되는 것을 확인할 수 있다.

$ git pull --set-upstream origin main # 에러 발생 안함 / 소스 확인

이제 정상적으로 환경 세팅은 된 것이다. 순차적으로 아래와 같이 진행하도록 한다.
- 이 때, theme 폴더에 본인의 테마 소스코드가 잘 있는지 확인을 하도록 한다.

$ npm install 
$ hexo clean
$ hexo generate
$ hexo server

Kaggle Survey Data Transformation Tip

Thu, 18 Nov 2021 18:30:47 +0900

Intro

Data Transformation is always important to visualise.
Here, I just introduced to get value counts in different dataset.
If you are newbie, please be aware of this code before you dive into visualization.

# This Python 3 environment comes with many helpful analytics libraries installed
# It is defined by the kaggle/python Docker image: https://github.com/kaggle/docker-python
# For example, here's several helpful packages to load

import numpy as np # linear algebra
import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)

# Input data files are available in the read-only "../input/" directory
# For example, running this (by clicking run or pressing Shift+Enter) will list all files under the input directory

import os
for dirname, _, filenames in os.walk('/kaggle/input'):
    for filename in filenames:
        print(os.path.join(dirname, filename))

# You can write up to 20GB to the current directory (/kaggle/working/) that gets preserved as output when you create a version using "Save & Run All" 
# You can also write temporary files to /kaggle/temp/, but they won't be saved outside of the current session

/kaggle/input/kaggle-survey-2021/kaggle_survey_2021_responses.csv
/kaggle/input/kaggle-survey-2021/supplementary_data/kaggle_survey_2021_methodology.pdf
/kaggle/input/kaggle-survey-2021/supplementary_data/kaggle_survey_2021_answer_choices.pdf

Data Import

Import raw data and split into questions dataset and survey dataset.

df = pd.read_csv("../input/kaggle-survey-2021/kaggle_survey_2021_responses.csv")
questions = df.iloc[0, :].T
questions

/opt/conda/lib/python3.7/site-packages/IPython/core/interactiveshell.py:3441: DtypeWarning: Columns (0,195,201,285,286,287,288,289,290,291,292) have mixed types.Specify dtype option on import or set low_memory=False.
  exec(code_obj, self.user_global_ns, self.user_ns)





Time from Start to Finish (seconds)                                Duration (in seconds)
Q1                                                           What is your age (# years)?
Q2                                                What is your gender? - Selected Choice
Q3                                             In which country do you currently reside?
Q4                                     What is the highest level of formal education ...
                                                             ...                        
Q38_B_Part_8                           In the next 2 years, do you hope to become mor...
Q38_B_Part_9                           In the next 2 years, do you hope to become mor...
Q38_B_Part_10                          In the next 2 years, do you hope to become mor...
Q38_B_Part_11                          In the next 2 years, do you hope to become mor...
Q38_B_OTHER                            In the next 2 years, do you hope to become mor...
Name: 0, Length: 369, dtype: object

df = df.iloc[1:, :]

Quick Data Review

All survey responses are count-based dataset.
It’s easy to check using value counts()

df['Q1'].value_counts()

25-29    4931
18-21    4901
22-24    4694
30-34    3441
35-39    2504
40-44    1890
45-49    1375
50-54     964
55-59     592
60-69     553
70+       128
Name: Q1, dtype: int64

Problem

Some questions are not easy to counts because of Supplementary Questions.

questions.index.tolist()[7:20]

['Q7_Part_1',
 'Q7_Part_2',
 'Q7_Part_3',
 'Q7_Part_4',
 'Q7_Part_5',
 'Q7_Part_6',
 'Q7_Part_7',
 'Q7_Part_8',
 'Q7_Part_9',
 'Q7_Part_10',
 'Q7_Part_11',
 'Q7_Part_12',
 'Q7_OTHER']

For this we need another way to combine into one dataset.
Many Questions are very similar like Q7.
Let’s Create function.
Main Reference is here: https://www.kaggle.com/ruchi798/kaggle-ml-ds-survey-analysis
Just add some if_condition.

def sub_questions_count(question_num, part_num, text = False):
  part_questions = []

  if text in ["A", "B"]:
    part_questions = ['Q' + str(question_num) + "_" + text + '_Part_' + str(j) for j in range(1, part_num)]
    part_questions.append('Q' + str(question_num) + "_" + text + '_OTHER')
  else:
    part_questions = ['Q' + str(question_num) + '_Part_' + str(j) for j in range(1, part_num)]
    part_questions.append('Q' + str(question_num) + '_OTHER')

  # category count
  categories = []
  counts = []
  for i in part_questions:
    category = df[i].value_counts().index[0]
    val = df[i].value_counts()[0]
    categories.append(category)
    counts.append(val)

  combined_df = pd.DataFrame()
  combined_df['Category'] = categories
  combined_df['Count'] = counts

  combined_df = combined_df.sort_values(['Count'], ascending = False)
  return combined_df

Test

Case 1

# Test 
# 'Q38_B_Part_11',
print(sub_questions_count(38, 11, "B").reset_index(drop=True))

                  Category  Count
0             TensorBoard    4239
1                  MLflow    2747
2        Weights & Biases    1583
3              Neptune.ai    1276
4                 ClearML    1020
5                Polyaxon     737
6                Guild.ai     729
7    Domino Model Monitor     666
8                Comet.ml     633
9      Sacred + Omniboard     591
10                   Other    377

Case 2.

M1 Mac Tensorflow Installation in R

Tue, 16 Nov 2021 17:20:30 +0900

개요

M1 Mac에서 텐서플로를 설치 한다.
필자의 현재 M1 환경은 아래와 같다.

sessionInfo()

R version 4.1.2 (2021-11-01)
Platform: aarch64-apple-darwin20 (64-bit)
Running under: macOS Big Sur 11.6

Matrix products: default
LAPACK: /Library/Frameworks/R.framework/Versions/4.1-arm64/Resources/lib/libRlapack.dylib

locale:
[1] en_US.UTF-8/en_US.UTF-8/en_US.UTF-8/C/en_US.UTF-8/en_US.UTF-8

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] ggplot2_3.3.5    dplyr_1.0.7      tfdatasets_2.7.0 keras_2.7.0     
[5] reticulate_1.22  tensorflow_2.7.0

loaded via a namespace (and not attached):
 [1] Rcpp_1.0.7        compiler_4.1.2    pillar_1.6.4      prettyunits_1.1.1
 [5] base64enc_0.1-3   tools_4.1.2       progress_1.2.2    digest_0.6.28    
 [9] zeallot_0.1.0     nlme_3.1-153      gtable_0.3.0      jsonlite_1.7.2   
[13] lifecycle_1.0.1   tibble_3.1.6      lattice_0.20-45   mgcv_1.8-38      
[17] pkgconfig_2.0.3   png_0.1-7         rlang_0.4.12      Matrix_1.3-4     
[21] cli_3.1.0         rstudioapi_0.13   withr_2.4.2       generics_0.1.1   
[25] vctrs_0.3.8       hms_1.1.1         rprojroot_2.0.2   grid_4.1.2       
[29] tidyselect_1.1.1  glue_1.5.0        here_1.0.1        R6_2.5.1         
[33] fansi_0.5.0       farver_2.1.0      purrr_0.3.4       magrittr_2.0.1   
[37] whisker_0.4       splines_4.1.2     scales_1.1.1      tfruns_1.5.0     
[41] ellipsis_0.3.2    colorspace_2.0-2  labeling_0.4.2    utf8_1.2.2       
[45] munsell_0.5.0     crayon_1.4.2

Miniforge3 설치

miniforge3를 설치 해야 한다.
- 참고: https://github.com/conda-forge/miniforge
arm64를 선택해서 다운로드 한다.

Matplotlib 한글 폰트 추가 (Mac)

Mon, 25 Oct 2021 23:00:47 +0900

개요

Mac 유저를 위해 한글 폰트 추가하는 방법을 설명한다.
기본 코드는 Windows에서도 동작한다.
폰트 추가 방법은 생략한다.

한글 폰트 깨진 시각화

간단하게 깨진 한글이 들어간 시각화를 구현한다.

import matplotlib.font_manager as fm
import matplotlib.pyplot as plt
import matplotlib as mpl
 
plt.plot([1, 2, 3, 4, 5])
plt.title("테스트")
plt.show()

/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/matplotlib/backends/backend_agg.py:238: RuntimeWarning: Glyph 53580 missing from current font.
  font.set_text(s, 0.0, flags=flags)
/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/matplotlib/backends/backend_agg.py:238: RuntimeWarning: Glyph 49828 missing from current font.
  font.set_text(s, 0.0, flags=flags)
/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/matplotlib/backends/backend_agg.py:238: RuntimeWarning: Glyph 53944 missing from current font.
  font.set_text(s, 0.0, flags=flags)
/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/matplotlib/backends/backend_agg.py:201: RuntimeWarning: Glyph 53580 missing from current font.
  font.set_text(s, 0, flags=flags)
/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/matplotlib/backends/backend_agg.py:201: RuntimeWarning: Glyph 49828 missing from current font.
  font.set_text(s, 0, flags=flags)
/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/matplotlib/backends/backend_agg.py:201: RuntimeWarning: Glyph 53944 missing from current font.
  font.set_text(s, 0, flags=flags)

RcppMeCab 패키지 설치 (Windows)

Sat, 23 Oct 2021 00:21:01 +0900

개요

Mecab-ko 형태소 분석기 사용 위해서는 Rcppmecab 패키지를 설치해야 함.
RcppMeCab 패키지 설치 앞서서 설치할 파일이 있음.
- URL: https://github.com/junhewk/RcppMeCab/blob/master/README_kr.md
- 해당 깃허브에서 설치해야 할 파일을 다운로드 받은 후, “C:\mecab” 경로에 설치한다.

설치 파일

MeCab 프로그램: mecab-ko-0.9.2-msvc-3
MeCab 사전: mecab-ko-dic-2.1.1-20180720-msvc-2

위 파일을 다운로드 받은 후, “C:\mecab"에서 압축을 해제한다.

RcppMecab 패키지 불러오기.

이제 패키지를 불러오도록 한다.
해당 패키지는 Github 버전으로 설치해야 하기 때문에 아래와 같이 설치를 한다.

library(remotes)
install_github("junhewk/RcppMeCab")
Downloading GitHub repo junhewk/RcppMeCab@HEAD
Installing 3 packages: BH, RcppParallel, Rcpp
.
.
** testing if installed package keeps a record of temporary installation path
* DONE (RcppMeCab)
library(RcppMeCab)

테스트

실제 잘 실행되는지 테스트를 해본다.

library(remotes)
install_github("junhewk/RcppMeCab", force = TRUE)

library(RcppMeCab)

# 테스트
text = "안녕하세요!"
pos(sentence = text)
# $`�ȳ\xe7\xc7ϼ��\xe4!`
# [1] "�/SY"           "ȳ/SL"            "\xe7\xc7\xcf/SH" "���\xe4/SY"  
# [5] "!/SF" 
text2 = enc2utf8(text)

pos(sentence = text2)
# $`안녕하세요!`
# [1] "안녕/NNG"   "하/XSV"     "세요/EP+EF" "!/SF"

R 강의 소개

필자의 강의: 왕초보 데이터 분석 with R
- 쿠폰 유효일은 2021년 10월 30일까지입니다.
- 링크: https://www.udemy.com/course/beginner_with_r/?couponCode=5BF397C9A1E46079627D
- 현재 강의를 계속 찍고 있고, 가격은 한 Section이 끝날 때마다 조금씩 올릴 예정입니다.

Python 강의 소개

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

Hexo Blog 이미지 추가

Thu, 21 Oct 2021 12:30:47 +0900

Hexo 이미지 추가

Hexo 블로그 작성 시, 이미지 파일을 추가하는 방법에 대해 배운다.
주요 참고자료
- Asset Folders: https://hexo.io/docs/asset-folders
- Asset Folders | Hexo - Static Site Generator | Tutorial 9: https://youtu.be/feIDVQ2tz0o

방법 1. Global Asset Folder

가장 간편한 방법은 source 폴더 아래 images 폴더를 별도로 만든다.
마크다운에서 아래와 같이 입력을 한다.

![](/images/image.jpg)

실제로 테스트를 해본다. (logo.md)
- image file: https://upload.wikimedia.org/wikipedia/commons/e/e9/Hexo-logo.png



# hexo logo 테스트
- 이미지
![](/images/Hexo-logo.png)

hexo server를 실행한 뒤 결과를 확인한다.

Home Credit Default - Data Visualization

Tue, 05 Oct 2021 09:10:39 +0900

공지

본 포스트는 재직자 교육을 위해 만든 강의안의 일부입니다.

Introduction

대회 개요

Many people struggle to get loans due to insufficient or non-existent credit histories. And, unfortunately, this population is often taken advantage of by untrustworthy lenders. Home Credit strives to broaden financial inclusion for the unbanked population by providing a positive and safe borrowing experience. In order to make sure this underserved population has a positive loan experience, Home Credit makes use of a variety of alternative data–including telco and transactional information–to predict their clients’ repayment abilities. While Home Credit is currently using various statistical and machine learning methods to make these predictions, they’re challenging Kagglers to help them unlock the full potential of their data. Doing so will ensure that clients capable of repayment are not rejected and that loans are given with a principal, maturity, and repayment calendar that will empower their clients to be successful.

tuber 패키지와 유투브 API를 활용한 Youtube 댓글 수집

Thu, 30 Sep 2021 10:00:00 +0900

공지

본 자료는 아래 책에서 일부 발췌 하였고, 해당 코드를 재응용하기 위해 노력하였습니다. 전체 원 소스 코드를 보시려면 책을 구매하시기를 바랍니다.
실무 예제로 끝내는 R 데이터 분석: 데이터 분석가에게 꼭 필요한 5가지 실무 예제로 분석 프로세스 이해하기
- 구입처: http://www.yes24.com/Product/Goods/103449758?OzSrank=1

개요

Youtube API에 등록 후, 댓글 수집 및 감성을 분석하는 과정을 담았습니다.

구글 API 프로젝트 생성하기

API 사용을 위해서는 구글 개발자 콘솔에 접속한다.
- URL: https://console.developers.google.com/

아래와 같이 새로운 프로젝트 만들기를 클릭 한다.

Classification with Tidymodels

Tue, 28 Sep 2021 10:00:00 +0900

개요

새로운 ML 라이브러리인 tidymodels를 활용하여 분류 모델을 개발해본다.

데이터

데이터는 Loan Prediction Practice Problem에서 가져왔다.
- URL: https://datahack.analyticsvidhya.com/contest/practice-problem-loan-prediction-iii/#ProblemStatement
회원가입 후, 대회 참여를 하면 3개의 파일을 다운로드 받을 수 있다.
- Train file, Test file, Submission File

Data Dictionary

Train 파일의 데이터 명세서는 다음과 같다.
Test 파일의 데이터 명세서는 다음과 같다.
Submission 파일의 데이터 명세서는 다음과 같다.

대회목적

대출 승인 여부를 결정하는 모델을 만드는 것이 대회의 주 목적이며. 평가지표는 분류모형의 Accurarcy로 결정한다.

패키지 및 데이터 불러오기

먼저 필수 패키지를 불러온다.

# 데이터 수집
library(readr)

# 데이터 가공
library(dplyr) # 데이터 가공
library(tidyr) # 컬럼 변경
library(stringr) # 문자열 데이터 다루기 
library(forcats) # 범주형 데이터 다루기
library(skimr) # 데이터 요약
library(magrittr) # 파이프라인 작성


# 데이터 시각화
library(ggplot2) # 데이터 시각화 
library(corrr) # 상관관계 시각화
library(skimr) # 데이터 요약
library(patchwork) # 데이터 시각화 분할
library(GGally) # 산점도

# 데이터 모델링
library(tidymodels) # ML Packages 
library(themis) # class imbalance 처리
library(discrim) # 베이지안 모델링
library(tidyposterior) # 베이지안 모델링 성능 비교
library(doParallel) # CPU cores 확인

이번에는 데이터를 불러오도록 한다.

train = read_csv("data/train_ctrUa4K.csv")

## Rows: 614 Columns: 13

## ── Column specification ────────────────────────────────────────────────────────
## Delimiter: ","
## chr (8): Loan_ID, Gender, Married, Dependents, Education, Self_Employed, Pro...
## dbl (5): ApplicantIncome, CoapplicantIncome, LoanAmount, Loan_Amount_Term, C...

## 
## ℹ Use `spec()` to retrieve the full column specification for this data.
## ℹ Specify the column types or set `show_col_types = FALSE` to quiet this message.

train %<>% rename(Applicant_Income = ApplicantIncome,
                  CoApplicant_Income = CoapplicantIncome,
                  Loan_Amount = LoanAmount) 

loan_id = train$Loan_ID
train %<>% select(-Loan_ID) %>% mutate(Credit_History = as.character(Credit_History))
str(train)

## tibble [614 × 12] (S3: tbl_df/tbl/data.frame)
##  $ Gender            : chr [1:614] "Male" "Male" "Male" "Male" ...
##  $ Married           : chr [1:614] "No" "Yes" "Yes" "Yes" ...
##  $ Dependents        : chr [1:614] "0" "1" "0" "0" ...
##  $ Education         : chr [1:614] "Graduate" "Graduate" "Graduate" "Not Graduate" ...
##  $ Self_Employed     : chr [1:614] "No" "No" "Yes" "No" ...
##  $ Applicant_Income  : num [1:614] 5849 4583 3000 2583 6000 ...
##  $ CoApplicant_Income: num [1:614] 0 1508 0 2358 0 ...
##  $ Loan_Amount       : num [1:614] NA 128 66 120 141 267 95 158 168 349 ...
##  $ Loan_Amount_Term  : num [1:614] 360 360 360 360 360 360 360 360 360 360 ...
##  $ Credit_History    : chr [1:614] "1" "1" "1" "1" ...
##  $ Property_Area     : chr [1:614] "Urban" "Rural" "Urban" "Urban" ...
##  $ Loan_Status       : chr [1:614] "Y" "N" "Y" "Y" ...

총 614개의 데이터에 13개의 컬럼이 있다.

탐색적 자료분석 (EDA)

우선 skim() 함수를 활용하도록 한다.

skim(train)

Table: Data summary

Airflow를 활용한 Data Cleansing 예제

Mon, 20 Sep 2021 11:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

Pandas와 Airflow를 활용하여 데이터를 정제하는 코드를 구성한다.
우선 데이터는 아래에서 CSV 파일을 다운로드 받고, Dags 파일 하단에 위치시킨다.
- URL: https://github.com/PaulCrickard/escooter/blob/master/scooter.csv

Raw 데이터 확인

간단하게 Raw 데이터를 확인해보도록 한다.

import pandas as pd

df = pd.read_csv("data/scooter.csv", index_col=0)
print(df)

(venv) $ python3 step00_raw_df.py 
       trip_id  region_id  vehicle_id  ...                                  end_location_name   user_id trip_ledger_id
month                                  ...                                                                            
May    1613335        202     9424537  ...       1899 Roma Ave NE, Albuquerque, NM 87106, USA   8417864        1488546
May    1613639        202     9424537  ...    1111 Stanford Dr NE, Albuquerque, NM 87106, USA   8417864        1488838
May    1613708        202     9424537  ...  1 Domenici Center en Domenici Center, Albuquer...   8417864        1488851
May    1613867        202     9424537  ...  725 University Blvd SE, Albuquerque, NM 87106,...   8417864        1489064
May    1636714        202     8926493  ...          401 2nd St NW, Albuquerque, NM 87102, USA  35436274        1511212
...        ...        ...         ...  ...                                                ...       ...            ...
July   2482235        202     2893981  ...         1418 4th St NW, Albuquerque, NM 87102, USA  42559731        2340035
July   2482254        202     8201542  ...   302 San Felipe St NW, Albuquerque, NM 87104, USA  42457674        2339885
July   2482257        202     5136810  ...    3339 Central Ave NE, Albuquerque, NM 87106, USA  42576631        2342126
July   2482275        202     3125962  ...         1413 4th St SW, Albuquerque, NM 87102, USA  42575656        2340036
July   2482335        202     9449822  ...    3339 Central Ave NE, Albuquerque, NM 87106, USA  42586810        2342161

[34226 rows x 10 columns]

정제 코드 테스트

Airflow에 테스트를 하기 전, 실제 잘 작동하는지 확인하는 코드를 작업해본다.
먼저 함수, cleanScooter() 함수에 대해 살펴본다.
- 먼저 데이터셋의 컬러명은 모두 소문자로 변경한다.
- 그 이후, 날짜 데이터를 포맷에 맞춰 변경한다.
- 그리고, cleanscooter.csv 데이터로 내보내기를 진행했다.
두번째 함수, filterData() 함수에 대해 살펴본다.
- 데이터를 불러온뒤, 각 날짜에 조건문을 적용한 뒤, 데이터를 내보내기 하였다.
마지막 함수는 최종 결과물을 콘솔창에 보여주기 위한 것으로 작업했다.

import pandas as pd

def cleanScooter(DATA_PATH):
    df = pd.read_csv(DATA_PATH + "scooter.csv", index_col=0)
    df.drop(columns=['region_id'], inplace=True)
    df.columns=[x.lower() for x in df.columns]
    df['started_at'] = pd.to_datetime(df['started_at'], format='%m/%d/%Y %H:%M')
    df.to_csv(DATA_PATH + "cleanscooter.csv")

def filterData(DATA_PATH):
    df = pd.read_csv(DATA_PATH + "cleanscooter.csv", index_col=0)
    from_date = '2019-05-23'
    to_date = '2019-06-03'
    to_from = df[(df['started_at'] > from_date) & (df['started_at'] < to_date)]
    to_from.to_csv(DATA_PATH + "may23-june3.csv")

def check_df(DATA_PATH):
    df = pd.read_csv(DATA_PATH + "may23-june3.csv")
    print(df)

if __name__ == "__main__":
    DATA_PATH = "your_path/data/"
    cleanScooter(DATA_PATH)
    filterData(DATA_PATH)
    check_df(DATA_PATH)

위 파일을 실행하면 다음과 같은 결괏값이 나올 것이다.

(venv) $ python3 step01_clean_df.py
     month  trip_id  vehicle_id  ...                                  end_location_name   user_id trip_ledger_id
0      May  1636714     8926493  ...          401 2nd St NW, Albuquerque, NM 87102, USA  35436274        1511212
1      May  1636780     3902020  ...   3217 Pershing Ave SE, Albuquerque, NM 87106, USA  34352757        1511371
2      May  1636856     5192526  ...      809 Copper Ave NW, Albuquerque, NM 87102, USA  35466666        1511483
3      May  1636912     3902020  ...    802 Wellesley Dr SE, Albuquerque, NM 87106, USA  34352757        1511390
4      May  1637035     5192526  ...      809 Copper Ave NW, Albuquerque, NM 87102, USA  35466666        1511516
...    ...      ...         ...  ...                                                ...       ...            ...
6187  June  1772189     7992415  ...          200 3rd St NW, Albuquerque, NM 87102, USA  35858913        1642397
6188  June  1772212     5216813  ...           6th @ Silver, Albuquerque, NM 87102, USA  35795570        1642192
6189  June  1772216     5637480  ...          413 2nd St SW, Albuquerque, NM 87102, USA  37255146        1642781
6190  June  1772229     2739536  ...   101 Broadway Blvd NE, Albuquerque, NM 87102, USA  38038151        1643073
6191  June  1772254     6016871  ...  1st St NW @, Central Ave NW, Albuquerque, NM 8...  37761291        1642284

[6192 rows x 10 columns]

약 3만개의 레코드의 행 갯수가 6000개로 줄어든 것을 확인할 수 있다.

Airflow Code

이제 airflow 에서 작업을 해보도록 한다.
파일명은 step05_01_clean_df.py 로 명명했다.

import pandas as pd
import datetime as dt
from datetime import timedelta
from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator

def cleanScooter():
    df = pd.read_csv("dags/data/scooter.csv", index_col=0)
    df.drop(columns=['region_id'], inplace=True)
    df.columns=[x.lower() for x in df.columns]
    df['started_at'] = pd.to_datetime(df['started_at'], format='%m/%d/%Y %H:%M')
    df.to_csv("dags/data/cleanscooter.csv")

def filterData():
    df = pd.read_csv("dags/data/cleanscooter.csv", index_col=0)
    from_date = '2019-05-23'
    to_date = '2019-06-03'
    to_from = df[(df['started_at'] > from_date) & (df['started_at'] < to_date)]
    to_from.to_csv("dags/data/may23-june3.csv")

default_args = {
    'owner': 'evan',
    'start_date': dt.datetime(2021, 9, 15),
    'retries': 1,
    'retry_delay': dt.timedelta(minutes=5),
}

with DAG('Cleaning_Data',
         default_args = default_args,
         schedule_interval=timedelta(minutes=5),
         ) as dag:

    print_starting = BashOperator(task_id='starting',
                                  bash_command='echo "I am reading the PostgreSQL now....."')

    cleanData = PythonOperator(task_id="cleaning_df",
                               python_callable=cleanScooter)

    selectData = PythonOperator(task_id="Filtering_df",
                                python_callable=filterData)

    copyFile = BashOperator(task_id="copy_df",
                            bash_command='cp $AIRFLOW_HOME/dags/data/may23-june3.csv /your_path/Desktop/')

print_starting >> cleanData >> selectData >> copyFile

기존에 작업한 코드와 크게 달라진 것은 없기 때문에, 전체 코드는 생략한다.
dags 안에 data 폴더를 만들어서 scooter.csv 만 넣었다. 실행 후 어떻게 새로운 데이터가 추가가 되었는지 확인해본다.
마지막 코드는 최종 결과물을 복사하여 바탕화면에 붙여넣기 하는 코드를 말한다.

(venv) $ ls
scooter.csv

DAG가 완성되었으면, 해당 코드를 $AIRFLOW_HOME/dags 폴더에 복사하고, 다음 명령들로 웹서버와 스케줄러를 실행한다.

(venv) airflow:evan $ airflow webserver
(venv) airflow:evan $ airflow scheduler

실행결과 확인

우선 웹 브라우저로 [http://localhost:8080](http://localhost:8080) 에 접속 후, 정상적으로 작업이 되는지 확인한다.

Airflow를 활용한 PostgreSQL에서 Elasticsearch로 데이터 마이그레이션 예제

Sat, 18 Sep 2021 20:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

Airflow를 활용하여 PostgreSQL에 저장된 데이터를 디스크로 다운로드 받고, 그리고 그 파일을 다시 읽어서 Elasticsearch에 저장하도록 한다.
전체적인 흐름은 getData from PostgreSQL >> insertData to Elasticsearch 로 저장할 수 있다.

전체 코드 실행

우선 전체 코드를 실행하도록 한다.

import datetime as dt
from datetime import timedelta
from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator
import pandas as pd
import psycopg2 as db
from elasticsearch import Elasticsearch

def queryPostgresql():
    conn_string="dbname='python_dataengineering' host='localhost' user='postgres' password='evan'"
    conn = db.connect(conn_string)
    df = pd.read_sql("select name, city from users", conn)
    df.to_csv("dags/postgresqldata.csv")
    print("----------Data Saved------------")

def insertElasticsearch():
    es=Elasticsearch()
    df = pd.read_csv("dags/postgresqldata.csv")
    print(df.head())
    for i, r in df.iterrows():
        doc = r.to_json()
        res = es.index(index="frompostgresql", doc_type="doc", body=doc)
        print(res)

default_args = {
    'owner': 'evan',
    'start_date': dt.datetime(2021, 9, 15),
    'retries': 1,
    'retry_delay': dt.timedelta(minutes=5),
}

with DAG('MyDBdag',
         default_args = default_args,
         schedule_interval=timedelta(minutes=5),
         ) as dag:

    print_starting = BashOperator(task_id='starting',
                                  bash_command='echo "I am reading the PostgreSQL now....."')

    getData = PythonOperator(task_id='QueryPostgreSQL',
                             python_callable=queryPostgresql)

    insertData = PythonOperator(task_id="InsertDataElasticsearch",
                                python_callable=insertElasticsearch)

print_starting >> getData >> insertData

위 함수를 실행하려면 $AIRFLOW_HOME/dags 폴더에 저장해야 하며, 필자는 step04_7_airflow.py 형태로 저장했다.
- 참고: Apache Airflow를 활용한 CSV에서 JSON으로 변환하기
그리고, 다음과 같이 실행하면 된다. (두개의 터미널이 필요)

(venv) $ airflow webserver
(venv) $ airflow scheduler

결과 확인

브라우저로 [http://localhost:8080](http://localhost:8080) 에 접속한다.
MyDBdag 를 실행 후, 클릭한다.

파이썬을 활용한 엘라스틱서치에서 데이터 추출

Fri, 17 Sep 2021 20:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

데이터를 질의하는 방법과 데이터를 삽입하는 방법은 동일하다.
다만, 이 때에는 search 메서드를 사용하다.
또한, doc 문서도 조금 다르다.
기본적으로 SQL 과 문법이 다르기 때문에 공식문서를 확인한다.

실행

본 테스트를 실행하기에 앞서서, Elasticsearch 과 Kibana 를 먼저 구동시키고, 데이터가 미리 삽입 되어 있으면 좋다.

실습 1 - 전체 데이터 확인

먼저 아래코드를 복사한 뒤 붙여넣기 하여 실행시켜보도록 한다.
- 결괏값까지 직접 확인하도록 한다.

from elasticsearch import Elasticsearch
from pandas.io.json import json_normalize

es = Elasticsearch()

doc={"query":{"match_all":{}}}
res=es.search(index="users", body=doc, size=10)
print(res['hits']['hits'])

# 각 문서의 `_source`필드 출력만 가능
# for doc in res['hits']['hits']:
#   print(doc['_source'])

# pandas DataFrame
print("----------")
df = json_normalize(res['hits']['hits'])
print(df)

(venv) $ python3 step04_3_elasticsearch_query.py 
/Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages/elasticsearch/connection/base.py:208: ElasticsearchWarning: Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.14/security-minimal-setup.html to enable security.
  warnings.warn(message, category=ElasticsearchWarning)
[{'_index': 'users', '_type': 'doc', '_id': '4Vam5HsBtoEC6_MiP2z3', '_score': 1.0, '_source': {'name': 'Toni Nguyen', 'street': '6060 Justin Freeway Suite 557', 'city': 'East Aaronstad', 'zip': '43029'}}, {'_index': 'users', '_type': 'doc', '_id': '41bN5HsBtoEC6_Mig2w3', '_score': 1.0, '_source': {'name': 'Jennifer Barr', 'street': '02693 Laura Views Apt. 582', 'city': 'Ericside', 'zip': '50021'}}, {'_index': 'users', '_type': 'doc', '_id': '5FbN5HsBtoEC6_Mig2w4', '_score': 1.0, '_source': {'name': 'Alex White', 'street': '674 Mcclure Islands', 'city': 'Richardfort', 'zip': '91321'}}, {'_index': 'users', '_type': 'doc', '_id': '5VbN5HsBtoEC6_Mig2w4', '_score': 1.0, '_source': {'name': 'Michael Melendez', 'street': '1732 Andrews Lakes Suite 023', 'city': 'West Rachaelhaven', 'zip': '96479'}}, {'_index': 'users', '_type': 'doc', '_id': '5lbN5HsBtoEC6_Mig2w4', '_score': 1.0, '_source': {'name': 'Dennis Moore', 'street': '4901 Barber Turnpike Suite 009', 'city': 'Lake Abigail', 'zip': '91137'}}, {'_index': 'users', '_type': 'doc', '_id': '51bN5HsBtoEC6_Mig2w4', '_score': 1.0, '_source': {'name': 'Angela Santiago', 'street': '2635 Duncan Isle Apt. 292', 'city': 'Garyton', 'zip': '74345'}}, {'_index': 'users', '_type': 'doc', '_id': '6FbN5HsBtoEC6_Mig2w4', '_score': 1.0, '_source': {'name': 'Cynthia Randall', 'street': '8738 Johnson Underpass', 'city': 'Brianshire', 'zip': '02178'}}, {'_index': 'users', '_type': 'doc', '_id': '6VbN5HsBtoEC6_Mig2w4', '_score': 1.0, '_source': {'name': 'James Schneider', 'street': '14248 Gregory Loaf', 'city': 'West Lindamouth', 'zip': '47982'}}, {'_index': 'users', '_type': 'doc', '_id': '6lbN5HsBtoEC6_Mig2w4', '_score': 1.0, '_source': {'name': 'Jonathan George', 'street': '8183 Flores Springs Apt. 129', 'city': 'South Jeffreyland', 'zip': '61791'}}, {'_index': 'users', '_type': 'doc', '_id': '61bN5HsBtoEC6_Mig2w4', '_score': 1.0, '_source': {'name': 'William Cooper', 'street': '338 Jeffrey Canyon Apt. 624', 'city': 'Wilkersonside', 'zip': '01065'}}]
----------
step04_3_elasticsearch_query.py:16: FutureWarning: pandas.io.json.json_normalize is deprecated, use pandas.json_normalize instead
  df = json_normalize(res['hits']['hits'])
  _index _type                   _id  _score      _source.name                  _source.street       _source.city _source.zip
0  users   doc  4Vam5HsBtoEC6_MiP2z3     1.0       Toni Nguyen   6060 Justin Freeway Suite 557     East Aaronstad       43029
1  users   doc  41bN5HsBtoEC6_Mig2w3     1.0     Jennifer Barr      02693 Laura Views Apt. 582           Ericside       50021
2  users   doc  5FbN5HsBtoEC6_Mig2w4     1.0        Alex White             674 Mcclure Islands        Richardfort       91321
3  users   doc  5VbN5HsBtoEC6_Mig2w4     1.0  Michael Melendez    1732 Andrews Lakes Suite 023  West Rachaelhaven       96479
4  users   doc  5lbN5HsBtoEC6_Mig2w4     1.0      Dennis Moore  4901 Barber Turnpike Suite 009       Lake Abigail       91137
5  users   doc  51bN5HsBtoEC6_Mig2w4     1.0   Angela Santiago       2635 Duncan Isle Apt. 292            Garyton       74345
6  users   doc  6FbN5HsBtoEC6_Mig2w4     1.0   Cynthia Randall          8738 Johnson Underpass         Brianshire       02178
7  users   doc  6VbN5HsBtoEC6_Mig2w4     1.0   James Schneider              14248 Gregory Loaf    West Lindamouth       47982
8  users   doc  6lbN5HsBtoEC6_Mig2w4     1.0   Jonathan George    8183 Flores Springs Apt. 129  South Jeffreyland       61791
9  users   doc  61bN5HsBtoEC6_Mig2w4     1.0    William Cooper     338 Jeffrey Canyon Apt. 624      Wilkersonside       01065

이제 코드를 살펴본다.
- 우선 doc={"query":{"match_all":{}}} 에서 match_all 은 주어진 문서의 모든 문서를 질의하는 요청에 해당함.
- search 는 크게 index 명은 문서 객체를 의미하며 body 쿼리 내용을 저장하는 곳이다. 그리고, 마지막으로 결과집합의 크기도 지정한다.
- 검색된 문서들을 출력한다.
  - 출력시 해당 쿼리는 JSON 객체로 반환됨을 유의한다.
- json_normalize 함수는 JSON 객체를 데이터프레임으로 변환할 때 주로 사용한다.

실습 2 - 질의 응용 (1)

이번에는 match_all 대신에 특정 이름만 출력하도록 한다.
먼저 파이썬 코드를 작성해본다.
- 여기서 봐야 하는 코드는 doc 이하 구문이다.

from elasticsearch import Elasticsearch

es = Elasticsearch()
doc = {"query": {"match":{"name":"Toni Nguyen"}}}
res = es.search(index="users", body=doc, size=10)
print(res['hits']['hits'][0]['_source'])

이제 해당 코드를 실행하면 특정 이름과 연관된 결괏값만 확인할 수 있을 것이다.

python3 step04_4_elasticsearch_query_match.py 
/Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages/elasticsearch/connection/base.py:208: ElasticsearchWarning: Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.14/security-minimal-setup.html to enable security.
  warnings.warn(message, category=ElasticsearchWarning)
{'name': 'Toni Nguyen', 'street': '6060 Justin Freeway Suite 557', 'city': 'East Aaronstad', 'zip': '43029'}

실습 3 - 질의 응용 (2)

이번에는 Boolean 연산자 및 필터를 이용해서 좀 더 정밀하게 검색을 하도록 한다.
이 때에는 bool 필드에 must 나, must not, should 를 지정하고 filter 필드에 조건을 지정하는 식이면 좋다.
먼저 파이썬 코드를 확인해본다.

from elasticsearch import Elasticsearch

es = Elasticsearch()
doc = {
    "query": {
        "bool": {
            "must": {
                "match": {"city": "East Aaronstad"}
            },
            "filter": {
                "term":{"zip":"43029"}
            }
        }
    }
}

res = es.search(index="users", body=doc, size=10)
print(res['hits']['hits'][0]['_source'])

먼저, city: East Aaronstad 와 매칭데는 모든 데이터가 조회된다.
그 후에, filter 조건문에서 zip 코드가 43029 번호만 남게 하면 된다.
이제 파일을 실행하여 결괏값을 확인한다.
- 기존에 이름을 통해 검색한 결과와 동일하게 나타나는 것을 확인할 수 있다.

(venv) $ python3 step04_5_elasticsearch_query_bool.py 
/Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages/elasticsearch/connection/base.py:208: ElasticsearchWarning: Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.14/security-minimal-setup.html to enable security.
  warnings.warn(message, category=ElasticsearchWarning)
{'name': 'Toni Nguyen', 'street': '6060 Justin Freeway Suite 557', 'city': 'East Aaronstad', 'zip': '43029'}

실습 4 - scroll 메서드 활용한 대형 결과 집합 처리

검색 결과 집합의 크기를 10으로 설정했다. 그러나, 만약 10,000개 이상일 경우에는 부하가 걸리는 등 약간의 어려움이 노출이 된다.
- 보통 이런 경우, 데이터를 여러번 나누어서 가져와야 하는데, 스크롤 함수를 통해서 해결이 가능하다.
먼저 코드를 통해서 다수의 데이터를 가져오도록 한다.

from elasticsearch import Elasticsearch

es = Elasticsearch()
res = es.search(
    index='users',
    doc_type='doc',
    scroll='20m',
    size=500,
    body={'query':{'match_all':{}}}
)

sid = res['_scroll_id']
size = res['hits']['total']['value']
while (size > 0):
    res = es.scroll(scroll_id= sid, scroll='20m')
    sid = res['_scroll_id']
    size = len(res['hits']['hits'])
    idx = 0
    for doc in res['hits']['hits']:
        print(doc['_source'])
        if idx == 5:
            break
        idx += 1

먼저 search() 에서 size는 500개로 설정한다.
_scroll_id 는 scroll 호출 시 찌정한다.
while 반복문을 이용하여 스크롤링을 시작한다. 이 때, 이 루프는 size가 0보다 큰 동안만 반복하며, size가 0이면 더 이상의 데이터가 없다는 것을 의미 한다.
sid와 size는 데이터를 더 가져오기 위해 새로운 스크롤 ID와 크기를 저장하는 것을 말한다.
- for 반복문 내의 if 조건문은 삭제 후 실행하면 모든 데이터가 나타나게 된다.
이제 파일을 실행해본다.

(venv) $ python3 step04_6_elasticsearch_scroll.py 
/Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages/elasticsearch/connection/base.py:208: ElasticsearchWarning: Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.14/security-minimal-setup.html to enable security.
  warnings.warn(message, category=ElasticsearchWarning)
/Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages/elasticsearch/connection/base.py:208: ElasticsearchWarning: [types removal] Specifying types in search requests is deprecated.
  warnings.warn(message, category=ElasticsearchWarning)
{'name': 'Roberta Garrett', 'street': '622 Mullen Run', 'city': 'Johnbury', 'zip': '99188'}
{'name': 'Dr. Gregory Pitts', 'street': '2713 Anne Bridge', 'city': 'Tracychester', 'zip': '15536'}
{'name': 'Parker Rodriguez', 'street': '99259 Michelle Islands Suite 573', 'city': 'Grayview', 'zip': '94752'}
{'name': 'James Key', 'street': '6371 Claudia Neck', 'city': 'Zoetown', 'zip': '56028'}
{'name': 'John Manning', 'street': '22124 White Motorway', 'city': 'West John', 'zip': '79730'}
{'name': 'Sara Davidson', 'street': '339 Brian Landing', 'city': 'Larsonfurt', 'zip': '83689'}
{'name': 'Michael Sanders', 'street': '98018 Smith Trafficway Apt. 221', 'city': 'North Lisa', 'zip': '16332'}
{'name': 'Diana Schultz', 'street': '1902 Kristin Dale Apt. 983', 'city': 'Harveybury', 'zip': '77036'}
{'name': 'Amber Pratt', 'street': '40199 Harry Brooks Suite 081', 'city': 'Sharonmouth', 'zip': '08817'}
{'name': 'Michelle Cook', 'street': '24013 Alvarado Rest', 'city': 'Evanside', 'zip': '26897'}
{'name': 'Carmen Spears', 'street': '02924 Pearson Turnpike', 'city': 'West Heathermouth', 'zip': '20586'}
{'name': 'Kimberly Baker', 'street': '2997 Sloan Parkway Apt. 846', 'city': 'Tracyshire', 'zip': '04234'}
{'name': 'James Wilkinson', 'street': '063 Mark Mills Suite 670', 'city': 'Lewisburgh', 'zip': '69009'}
{'name': 'Valerie Fitzpatrick', 'street': '48374 Smith Throughway', 'city': 'Gonzalezhaven', 'zip': '86867'}
{'name': 'Ricardo Kim', 'street': '40378 Riley Trafficway', 'city': 'Lake Jared', 'zip': '05818'}
{'name': 'Charles Walker', 'street': '038 Reid Centers', 'city': 'North Travis', 'zip': '44111'}
{'name': 'Suzanne Mendoza', 'street': '36816 Owens Streets Suite 897', 'city': 'Elizabethhaven', 'zip': '26540'}
{'name': 'Adam Hamilton', 'street': '19219 Davis Falls', 'city': 'New Ryan', 'zip': '43903'}

References

Data Engineering with Python by Paul Crickard, https://www.packtpub.com/product/data-engineering-with-python/9781839214189

파이썬과 엘라스틱서치 DB 연동

Wed, 15 Sep 2021 11:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

NoSQL 데이터베이스 시스템의 하나인 Elasticsearch 를 다루는 방법을 설명한다.
NoSQL 은 데이터를 행들과 열들로 저장하지 않는 데이터베이스를 말한다.
대개 JSON문서 형태로 저장하고, SQL이 아닌 절의 언어를 주로 사용한다.

설치

먼저 설치를 진행한다.

(venv) $ pip3 install elasticsearch
Collecting elasticsearch
  Downloading elasticsearch-7.14.1-py2.py3-none-any.whl (363 kB)
     |████████████████████████████████| 363 kB 5.7 MB/s 
Requirement already satisfied: certifi in /Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages (from elasticsearch) (2021.5.30)
Requirement already satisfied: urllib3<2,>=1.21.1 in /Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages (from elasticsearch) (1.26.6)
Installing collected packages: elasticsearch
Successfully installed elasticsearch-7.14.1

설치 이후에는 현재 버전을 확인하기 위해 아래와 같이 .py 형태로 작성 후, 터미널에서 실행한다.

import elasticsearch
print(elasticsearch.__version__)

(venv) $ python3 step04_1_elasticsearch.py 
(7, 14, 1)

버전까지 확인했다면, 파이썬에서 Elasticsearch 을 실행할 수 있다.

실습 1 - 데이터 삽입

데이터를 Elasticsearch 에 삽입하는 소스코드를 생성해본다.

import elasticsearch
from elasticsearch import Elasticsearch
from faker import Faker

fake = Faker()

print(elasticsearch.__version__)
es = Elasticsearch()

# 데이터 생성 및 삽입
doc={"name": fake.name(),"street": fake.street_address(), "city": fake.city(),"zip":fake.zipcode()}
res=es.index(index="users",doc_type="doc",body=doc)
print(res['result']) # created

위 파일을 실행하기에 앞서서, Elasticsearch 과 Kibana 가 먼저 구동이 되고 있으면 좋다.
- Elastic Search Engine Installation
- Kibana Installation
이제 실행하면 아래와 같은 결괏값이 나타날 것이다.

(venv) $ python3 step04_1_elasticsearch.py 
(7, 14, 1)
/Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages/elasticsearch/connection/base.py:208: ElasticsearchWarning: Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.14/security-minimal-setup.html to enable security.
  warnings.warn(message, category=ElasticsearchWarning)
/Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages/elasticsearch/connection/base.py:208: ElasticsearchWarning: [types removal] Specifying types in document index requests is deprecated, use the typeless endpoints instead (/{index}/_doc/{id}, /{index}/_doc, or /{index}/_create/{id}).
  warnings.warn(message, category=ElasticsearchWarning)
created

실습 2 - 다수의 문서 삽입

각 데이터 하나를 생성 후, 입력하는 방식이 아닌, 대량의 문서를 모두 만든 후, 한번엔 데이터를 추가하는 이른바 bulk 를 진행하도록 한다.
우선 전체적인 코드를 추가한다 (파일명: step04_2_elasticsearch_bulk.py).

from elasticsearch import Elasticsearch
from elasticsearch import helpers
from faker import Faker

fake=Faker()
es = Elasticsearch() #or pi {127.0.0.1}

actions = [
  {
    "_index": "users",
    "_type": "doc",
    "_source": {
	"name": fake.name(),
	"street": fake.street_address(), 
	"city": fake.city(),
	"zip":fake.zipcode()}
  }
  for x in range(998) # or for i,r in df.iterrows()
]

response = helpers.bulk(es, actions)
print(response)

색인 이름과 형식을 "_index" 와 "_type" 으로 지정해야 한다.
"_source" 필드가 NoSQL 에 추가할 JSON 문서이다.
반복문은 해당 문서를 999(색인이 0부터 998까지 반복)개의 데이터를 만든다는 뜻이다.
마지막으로 bulk 를 실행하면 삽입이 진행된다.

(venv) $ python3 step04_2_elasticsearch_bulk.py 
/Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages/elasticsearch/connection/base.py:208: ElasticsearchWarning: Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.14/security-minimal-setup.html to enable security.
  warnings.warn(message, category=ElasticsearchWarning)
/Users/evan/Desktop/data_engineering_python/venv/lib/python3.8/site-packages/elasticsearch/connection/base.py:208: ElasticsearchWarning: [types removal] Specifying types in bulk requests is deprecated.
  warnings.warn(message, category=ElasticsearchWarning)
(998, [])

실습 3 - 키바나 확인

쿼리는 정상적으로 작동이 되었다. 실제 데이터가 잘 들어갔는지 확인하도록 한다. 이 때, 반드시 Elasticsearch 과 Kibana 가 먼저 구동이 되고 있어야 한다.
아래 그림과 같이 왼쪽 상단 햄버거 메뉴 - 하단 Management 섹션의 Stack Management 를 클릭한다.

파이썬과 PostgreSQL DB 연동 예제

Fri, 10 Sep 2021 11:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

MacOS에서의 기본 설치 과정은 생략하도록 한다.
새로운 DB를 생성하도록 한다.
먼저 환경변수를 설정한다.
- 해당 경로를 가져오는 방법은 Postgre SQL Installation on MacOS M1에서 확인한다.

(venv) $ export PATH=/opt/homebrew/bin:$PATH:/Applications/Postgres.app/Contents/Versions/13/bin

먼저 기본 데이터베이스에 연결한다.

(venv) $ psql postgres
psql (13.4)
Type "help" for help.

postgres=#

위 상태에서 패스워드를 설정한다.
필자는 evan을 패스워드로 입력하였다.

postgres=# ALTER USER postgres with PASSWORD 'evan';
ALTER ROLE

그 후, 다시 Shell로 돌아온 뒤 python_dataengineering 데이터베이스를 생성한다.
- 아래 코드는 Mac환경설정이 끝난 상황에서의 명령어이기 때문에 다를 수 있다. 또한, 다른 OS에서도 다를 수 있음을 유의한다.
- 참고자료: 1.3. Creating Database

postgres=# \q
(venv) $ createdb python_dataengineering
(venv) $

이번에는 pgAdmin에 접속한다.
- 설치 과정은 pgAdmin4 GUI installation on MacOS M1 에서 참고한다.
최초 접속 후, 아래와 같은 화면에서 PostgreSQL 서버를 추가하도록 한다.
상단 대시보드 - 화면 중간 Add New Server 를 차례대로 클릭하면 입력해야 할 상자가 나타난다.
General 메뉴에서는 식별자 이름을 추가하고, Connection에서는 아래와 같이 입력을 한다.

/img/programming/2021/09/python_postgresql/python_postgresql

Apache Airflow를 활용한 CSV에서 JSON으로 변환하기

Thu, 09 Sep 2021 11:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

Apache Airflow에서 가장 중요한 개념은 DAG(Directed Acyclic Graph)이다.
DAG를 만들 시, Bash 스크립트 및 연산자(Operator)로 작업을 정의할 수 있다.
이 때, 파이썬 함수로 조직화 한다.
Airflow 설치방법을 모른다면 다음 페이지에서 확인한다.
- Apache Airflow Installation

Step 01. Building a CSV to a JSON data pipeline

우선 전체적인 코드를 확인한다.
필자의 airflow 버전은 2.13이다.
이 때, 몇몇 코드는 아래와 같이 발견될 수도 있다.

from airflow.operators.~~python_operator~~ import PythonOperator
## This module is deprecated. Please use `airflow.operators.python`.

그럴 경우, 해당 명령어대로 수정하기를 바란다.
위 부분이 교재와 코드 일부가 조금 다르며, 그 때마다 수정한다. 따라서, 교재를 보더라도 실제로는 아래 코드를 적용하거나, 아니면 airflow 1.x 버전으로 맞춰서 진행하기를 바란다.

import datetime as dt
from datetime import timedelta

from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator

import pandas as pd

def csvToJson():
    df = pd.read_csv('dags/data.csv')
    for i, r in df.iterrows():
        print(r['name'])
    df.to_json('dags/fromAirflow.json', orient='records')

default_args = {
    'owner': 'evan',
    'start_date': dt.datetime(2020, 3, 18),
    'retries': 1,
    'retry_delay': dt.timedelta(minutes=5),
}

with DAG('MyCSVDAG',
         default_args=default_args,
         schedule_interval=timedelta(minutes=5),  # '0 * * * *',
         ) as dag:
    print_starting = BashOperator(task_id='starting',
                                  bash_command='echo "I am reading the CSV now....."')

    csvJson = PythonOperator(task_id='convertCSVtoJson',
                             python_callable=csvToJson)

print_starting >> csvJson

위 코드에서 바꿔야 하는 것은 owner : evan 여기 부분만 변경하시면 된다.

Step 02. 소스코드 실행방법

소스코드를 실행하려면 특정 폴더에 소스 파일과 그리고 csv 파일을 별도 폴더로 지정해줘야 한다.
필자의 경우 파이썬 파일명은 ch02_airflow.py 이다.
우선 Airflow 경로를 확인한다. (여기서 헤매면 계속 헤매이게 된다!)

(venv) $ echo $AIRFLOW_HOME
/Users/evan/Desktop/data_engineering_python/install_files/airflow

이 때, airflow.cfg 파일에서 dags_folder 속성을 확인해본다.
필자는 아래와 같이 지정이 되어 있다.

.
.
dags_folder = /Users/evan/Desktop/data_engineering_python/install_files/airflow/dags
.
.

이 경로의 의미는 ch02_airflow.py 와 data.csv 파일이 해당 폴더 dags 안에 있어야 한다는 것이다.
만약 dags 폴더가 없다면 새로 만들고, 두개의 파일을 추가하도록 한다.
다시 말하지만, 대부분의 경우가 소스 파일 및 데이터 파일의 경로 문제가 대다수 에러의 원인임을 기억한다.
이제 이 상태에서 아래 코드를 순차적으로 실행한다. 이 때, 터미널을 두개를 열어서 독립적으로 실행한다.

(venv) $ airflow webserver
(venv) $ airflow scheduler

만약 접속이 안되거나, 그 외 대부분의 문제는 AIRFLOW 경로가 제대로 설정이 안된 경우이기 때문에, 그럴 경우에는 무조건 $AIRFLOW_HOME 설정을 다시 하도록 한다.
설정 방법은 아래 코드를 참조한다.

(venv) $ export AIRFLOW_HOME="$(pwd)"
(venv) $ echo $AIRFLOW_HOME

Step 03. GUI에서 확인

http://0.0.0.0:8080/ 에 접속한 후, 로그인을 진행한다.
그러면 아래와 같은 화면이 나타나면 정상적으로 실행이 된 것이다.

파이썬을 활용한 JSON 파일 입출력 예제 with faker

Wed, 08 Sep 2021 18:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

JSON은 (JavaScript Object Notataion)의 약자이며, 주로 API 호출 시에 사용한다.
JSON 데이터를 개별적인 파일 형태로 저장하기도 한다.
json 라이브러리를 활용하여 입출력을 진행하고, pandas 라이브러리를 통해서도 직접 불러오도록 한다.

JSON 파일 쓰기 전체 코드

파일은 wirtejson.py 형태로 저장한다.

from faker import Faker
import json
output=open('data.json','w')
fake=Faker()
all_df={}
all_df['records']=[]
for x in range(1000):
	data={"name":fake.name(),
          "age":fake.random_int(min=18, max=80, step=1),
          "street":fake.street_address(),
          "city":fake.city(),
          "state":fake.state(),
          "zip":fake.zipcode(),
          "lng":float(fake.longitude()),
          "lat":float(fake.latitude())}
	all_df['records'].append(data)	
json.dump(all_df,output)

faker 라이브러리 설명은 파이썬을 활용한 파일 입출력 예제 with faker 에서 확인한다.
all_df는 빈(empty) 딕셔너리 형태로 저장한다.
all_df["records"] 라는 이름의 key 값에 각 레코드들의 배열을 담도록 하였다.
json.dump 로 표현하도록 한다.
이제 파일을 실행하여 json을 내보낸뒤 결과물을 확인하도록 한다.

(venv) $ python3 ch01_writejson.py
(venv) $ ls
... data.json

data.json 파일을 열어서 확인하면 아래와 같이 깔끔하게 정렬된 json 데이터를 확인할 수 있을 것이다.

파이썬을 활용한 CSV 파일 입출력 예제 with faker

Wed, 08 Sep 2021 16:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

사전 작업

우선 임시 데이터를 기록할 라이브러리인 faker 를 설치한다.
흔히 쓰이는 필드들을 함수 하나로 쉽게 만들 수 있도록 지원한다.

(venv) $ pip3 install faker

데이터 생성하기 전체 코드

필자는 [writecsv.py](http://writecsv.py) 형태로 저장하였다.
먼저 한줄 씩 설명하면 다음과 같다.

from faker import Faker
import csv
output=open('mydata.csv', mode = 'w')
fake=Faker()
header=['name','age','street','city','state','zip','lng','lat']
mywriter=csv.writer(output)
mywriter.writerow(header)
for r in range(1000):
    mywriter.writerow([fake.name(),fake.random_int(min=18, max=80, step=1), fake.street_address(), fake.city(),fake.state(),fake.zipcode(),fake.longitude(),fake.latitude()])
output.close()

from faker import Faker 는 라이브러리를 불러오는 것이다.
import csv 는 .csv 파일로 만들어주는 함수를 제공한다.
이제 하나씩 살펴보도록 한다.

output=open('mydata.csv','w')

파일을 쓰기 모드로 연다는 뜻이며, w 파일 쓰기 모드로 지정한다.
읽기 전용 모드로 사용하려면 r ,
기존 내용에 덧붙여 쓴다면, a,
읽기와 쓰기가 모두 가능한 파일 모드는 r+ ,
마지막으로 텍스트가 아닌 파일을 다룰 때는 b 붙인다. 예를 들면, 데이터를 바이트 단위로 기록하려면 mode = "wb" 로 지정한다.

fake = Faker()

fake는 Faker() 클래스의 객체를 생성했다는 것을 의미한다.

header=['name','age','street','city','state','zip','lng','lat']

header라는 리스트 객체를 만들고, 그 안에 각종 데이터가 들어갈 컬럼명을 추가했다.

mywriter=csv.writer(output)
mywriter.writerow(header)
for r in range(1000):
    mywriter.writerow([fake.name(),fake.random_int(min=18, max=80, step=1), fake.street_address(), fake.city(),fake.state(),fake.zipcode(),fake.longitude(),fake.latitude()])
output.close()

csv.writer 객체를 생성하여 mywriter로 지정한다.
그리고, header를 writerow()로 추가하면, 일종의 컬럼값이 우선 만들어진다.
그 후에, 데이터 행을 파일에 기록하는 코드를 fake 내 함수를 반복문으로 활용하여 만든 것이다.
모든 작업이 완료가 되었으면 output.close() 로 종료 한다.

(venv) $ python3 ch01_loadcsv.py
(venv) $ ls
ch01_loadcsv.py data.csv

파일을 실행하면 위와 같이 데이터가 만들어진 것을 볼 수 있다.
실제 아래와 같이 나온 것을 확인할 수 있다.

Kibana Installation

Tue, 07 Sep 2021 13:13:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

Elastic Search는 GUI를 제공하지 않고 API만 제공한다. 따라서, 시각화 도구인 키바나를 GUI로 사용하도록 하는 것이 특징이다.
- Elastic Search 설치는 Elastic Search Engine Installation에서 확인한다.
즉, 다시 말하면 Elastic Search 는 API 데이터만 제공할 뿐이고, 이를 가시적으로 보여주기 위해서는 Kibana를 설치해야 한다는 뜻이다.

설치

기본적인 설치 메뉴얼은 Install Kibana에서 확인이 가능하다.
본 책에서는 MacOS 설치 과정으로 진행을 하였다.
- Install Kibana from archive on Linux or macOS
- 코드는 다음과 같다.

(venv) $ curl -O https://artifacts.elastic.co/downloads/kibana/kibana-7.14.1-darwin-x86_64.tar.gz
(venv) $ curl https://artifacts.elastic.co/downloads/kibana/kibana-7.14.1-darwin-x86_64.tar.gz.sha512 | shasum -a 512 -c -
(venv) $ tar -xzf kibana-7.14.1-darwin-x86_64.tar.gz
(venv) $ cd kibana-7.14.1-darwin-x86_64/

실행

설치가 종료가 된 이후에는 실행을 한다.
주의 : 이 때 주의해야 하는 것은 elastic search 가 먼저 실행이 되어 있어야 한다는 점이다.
http://localhost:5601 포트를 열도록 한다.

(venv) $ ./bin/kibana

/img/programming/2021/09/kibana_install/kibana_install

Elastic Search Engine Installation

Tue, 07 Sep 2021 11:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

검색 엔진을 말한다.
Mac에서 설치하는 과정을 진행한다.
가상 환경은 virtualenv 를 통해서 진행한다.
- 참조: https://lee-mandu.tistory.com/517?category=838684
그 후에 가상 환경에 접속한다.

설치

각 OS별 설치 과정은 해당 URL에서 참조할 수 있다.
- URL: https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html
- MacOS: https://www.elastic.co/guide/en/elasticsearch/reference/current/targz.html
설치는 다음 코드를 순차적으로 실행하면 끝이 난다.

(venv) $ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.1-darwin-x86_64.tar.gz
(venv) $ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.1-darwin-x86_64.tar.gz.sha512
(venv) $ shasum -a 512 -c elasticsearch-7.14.1-darwin-x86_64.tar.gz.sha512 
(venv) $ tar -xzf elasticsearch-7.14.1-darwin-x86_64.tar.gz
(venv) $ cd elasticsearch-7.14.1/
(venv) $ ls
LICENSE.txt     NOTICE.txt      README.asciidoc bin             config          jdk.app         lib             logs            modules         plugins

현재 경로에서 config/elasticsearch.yml 파일을 열고 노드와 클러스터 이름을 지정해보자.

# Use a descriptive name for your cluster:
#
cluster.name: dataEngineeringWithPython
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: OnlyMode

이제 준비가 끝났다면, 다음 명령을 실행하여 일래스틱 서치를 진행해본다.
사전에 Java가 설치가 되어 있어야 한다. 만약 설치가 안 되어 있다면, Apache NiFi Installation에서 설치과정을 확인한다.

(venv) $ ./bin/elasticsearch
warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
[2021-09-07T11:09:50,528][INFO ][o.e.n.Node               ] [OnlyMode] version[7.14.1], pid[14599], build[default/tar/66b55ebfa59c92c15db3f69a335d500018b3331e/2021-08-26T09:01:05.390870785Z], OS[Mac OS X/11.4/x86_64], JVM[AdoptOpenJDK/OpenJDK 64-Bit Server VM/11.0.11/11.0.11+9]
.
.
.
[2021-09-07T11:10:20,876][INFO ][o.e.i.g.DatabaseRegistry ] [OnlyMode] database file changed [/var/folders/zq/ch7gky6n3rzgjf1pd0w2l35w0000gn/T/elasticsearch-1663630215408415345/geoip-databases/18vlOg1KR7q3JLo9G5S8SA/GeoLite2-City.mmdb], reload database...

이제 http://localhost:9200을 열어본다.
이 책에서 사용할 NoSQL DB가 준비가 되었다는 뜻을 의미한다.

Apache Airflow Installation

Mon, 06 Sep 2021 20:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

NiFi와 같은 용도의 소프트웨어이며, 현재 가장 인기 있는 오픈소스 데이터 파이프라인 도구라고 할 수 있다.
보통은 시스템에 경로를 설정한다. 그런데, 본 장에서는 가상환경 설정 후 진행하는 것으로 했다.
가상 환경은 virtualenv 를 통해서 진행한다.
- 참조: https://lee-mandu.tistory.com/517?category=838684
그 후에 가상 환경에 접속한다.

$ source venv/bin/activate
(venv) $

Step 01. 환경변수 설정

우선 pip 으로 설치 하기에 앞서서 환경 변수를 임시로 설정한다.
해당 환경 변수가 설정된 곳으로 airflow 설치 관련 폴더 및 파일들이 다운로드 될 것이다.

(venv) $ export AIRFLOW_HOME="$(pwd)"
(venv) $ echo $AIRFLOW_HOME
/Users/evan/Desktop/data_engineering_python/install_files/airflow

Step 02. 라이브러리 설치

이제 airflow 설치를 진행한다.
이때, 설치 명령어에 따른 옵션은 아래 그림에서 살펴보기를 바란다.

Apache NiFi Installation

Mon, 06 Sep 2021 16:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

데이터 엔지니어링에 필요한 기본적인 인프라를 설치 진행하는 튜토리얼을 만들었다.
기본적으로 교재에 충실하지만, 약 1년전에 쓰인 책이라, 최신 버전으로 업그레이드 하였다.

Apache NiFi 설치과정

먼저 웹사이트에 방문하여 필요한 파일을 다운로드 받는다.
- URL: https://nifi.apache.org/download.html

wget을 이용해서 NiFi를 현재 디렉터리에 내려받는다.

$ wget https://downloads.apache.org/nifi/1.14.0/nifi-1.14.0-bin.tar.gz
--2021-09-06 13:10:55--  https://downloads.apache.org/nifi/1.14.0/nifi-1.14.0-bin.tar.gz
Resolving downloads.apache.org (downloads.apache.org)... 135.181.214.104, 135.181.209.10, 88.99.95.219
Connecting to downloads.apache.org (downloads.apache.org)|135.181.214.104|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1417663663 (1.3G) [application/x-gzip]
Saving to: ‘nifi-1.14.0-bin.tar.gz’

nifi-1.14.0-bin.tar.gz                      100%[==========================================================================================>]   1.32G  5.27MB/s    in 4m 13s

.tar.gz 파일의 압축을 푼다.

$ tar -xvf nifi-1.14.0-bin.tar.gz
$ ls
nifi-1.14.0             nifi-1.14.0-bin.tar.gz

nifi-1.14.0 의 디렉터리가 생겼을 것이며, 해당 디렉터리로 가서 다음 명령어를 실행한다.

$ cd nifi-1.14.0
$ bin/nifi.sh start
nifi.sh: JAVA_HOME not set; results may vary

Java home: 
NiFi home: /Users/evan/Desktop/data_engineering_python/install_files/nifi-1.14.0

Bootstrap Config File: /Users/evan/Desktop/data_engineering_python/install_files/nifi-1.14.0/conf/bootstrap.conf

The operation couldn’t be completed. Unable to locate a Java Runtime.
Please visit http://www.java.com for information on installing Java.

자바가 이미 설치가 되어 있다면 정상적으로 실행이 된다.
그러나, 자바가 설치가 되어 있지 않다면 위 에러와 같이 별도로 자바 환경 설치를 해야 한다.

3.1 자바 설치 및 환경변수 지정

LSTM을 활용한 주식가격 예측

Fri, 27 Aug 2021 16:00:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

[비전공자 대환영] 캐글 데이터를 활용한 Optuna with MLFlow - 캐글다지기
- 머신러닝 하이퍼파라미터 튜닝 등을 배우고 싶다면 다음 강의를 참고하세요.

LSTM과 RNN의 개요

RNN은 자연어처리에서 사용되는 대표적인 알고리즘
- 순환신경망으로 표현됨
- 활용범위: 음성 인식, 언어 모델링, 번역, 이미지 주석 생성

기업 요청 샘플 (수강생) - Python Dash를 활용한 대시보드

Thu, 26 Aug 2021 14:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

보안 로그 파일을 업로드한 뒤, 점검 결과를 자동으로 출력해주도록 한다.
(수강생의 도전) 보안 로그 파일을 업로드 한 뒤, CPU 사용률이 70%가 넘으면 경고 메시지를 뛰우도록 한다.

Chapter 1. 로그데이터 분석 및 확인

먼저 CPU가 들어있는 로그데이터를 확인한다.
- 골든시스에서 제공한 Sample 데이터를 근거로 랜덤하게 데이터를 생성했다. 파일명: (cpu_test.txt)

Dorm_E_116.95#
Dorm_E_116.95#sh logg
Dorm_E_116.95#sh logging 
Syslog logging: enabled (0 messages dropped, 1 messages rate-limited, 0 flushes, 0 overruns, xml disabled, filtering disabled)

No Active Message Discriminator.

No Inactive Message Discriminator.

    Console logging: level debugging, 2178 messages logged, xml disabled,
                     filtering disabled
    Monitor logging: level debugging, 244 messages logged, xml disabled,
                     filtering disabled
    Buffer logging:  level debugging, 2178 messages logged, xml disabled,
                    filtering disabled
    Exception Logging: size (4096 bytes)
    Count and timestamp logging messages: disabled
    File logging: disabled
    Persistent logging: disabled

No active filter modules.

    Trap logging: level informational, 2176 message lines logged
        Logging Source-Interface:       VRF Name:
          
Log Buffer (100000 bytes):
17:19:23: %PM-4-ERR_DISABLE: storm-control error detected on Gi1/0/36, putting Gi1/0/36 in err-disable state
Jul  7 17:19:23: %STORM_CONTROL-3-SHUTDOWN: A packet storm was detected on Gi1/0/36. The interface has been disabled.
Jul  7 17:19:25: %LINK-3-UPDOWN: Interface GigabitEthernet1/0/36, changed state to down
Jul  7 17:19:53: %PM-4-ERR_RECOVER: Attempting to recover from storm-control err-disable state on Gi1/0/36
Switch#show processor cpu
CPU utilization for five seconds: 4%/1%; one minute: 3%; five minutes: 3%
.
.
.

업무 수행 시, 위와 같은 데이터를 생성한다. 그 후에, 점검일지 파일을 작성한다.
- 점검일지 파일 Sample /img/programming/2021/08/dash_cpu_logdata/log_01.png

(1) 문제점 진단

통상적으로 위와 같이 명령어를 입력한 뒤 결괏값을 찾아 수기로 입력하여 작성하도록 함
일일이 확인해야 하는 번거로움이 있다보니, 이를 자동으로 처리할 수 있는 툴 제작 의뢰를 받음

(2) 해결방안

명령어 및 결괏값이 일정한 패턴이 있기 때문에, 문자열 매칭을 통해 전처리가 가능한 것을 확인
또한, Dash 프레임워크를 통해 비교적 간단하게 대시보드를 만들 수 있음에 착안하였다.

(3) 배경지식

보안 관련 명령어 지식이 필요할 수도 있어서, 공유한다.
- URL: https://www.cisco.com/c/ko_kr/support/docs/ios-nx-os-software/ios-software-releases-120-mainline/15102-showproc-cpu.html#showproccpu

Chapter 2. 문자열 전처리 함수 만들기

우선 Jupyter Lab에서 간단한 테스트 함수를 만들어 보았다.
전체 코드는 아래와 같다.
- 파일을 불러온 뒤 우선 각 코드 라인 중에서 CPU utilization 가 있는 텍스트만 남기고 그 외에는 모두 삭제한다.
- 여기에서 다른 명령어의 결괏값을 확인하다면, if else 구문으로 계속적으로 확장할 수 있을 것이다.
- 그 후에, 각 re.sub 함수를 활용하여 수치만 뽑아낸다.
- 이를 각 데이터 프레임에 추가한 것이다.

import pandas as pd
import re

def text_cleanser(FILE_PATH):
    with open(FILE_PATH, 'r') as f:
        logLines = f.read().splitlines()
    cleaned_lines = [x for x in logLines if "CPU utilization" in x]
    clean_text = re.sub('/[0-9]%', '', cleaned_lines[0])
    print("temp:", clean_text)
    result_list = re.findall("\d+", clean_text)
    return result_list
        
FILE_PATH = "data/cpu_test.txt"
result_list = text_cleanser(FILE_PATH)
result_list

위 파일을 Jupyter lab에서 실행하면 아래와 같은 결괏값이 출력될 것이다.

temp: CPU utilization for five seconds: 4%; one minute: 3%; five minutes: 3%
['4', '3', '3']

출력한 결과물을 pandas 데이터 프레임에 적용한 결과는 아래와 같다.

data = pd.DataFrame({"분류":["cpu"],
                     "점검내용": ["CPU 사용률 점검 및 불필요한 프로세스 확인"],
                     "점검기준": ["MEM 임계치: 70% (MAX)"],
                     "점검방법": ["show processes cpu | in five"],
                     "5초 동안 CPU 사용률": [result_list[0]], 
                     "1분 동안 CPU 사용률": [result_list[1]], 
                     "5분 동안 CPU 사용률": [result_list[2]], 
                    })
data

네이버 뉴스 댓글 크롤링 대시보드 만들기 with Heroku

Tue, 17 Aug 2021 11:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

1. 개요

기존 웹크롤링은 주로 코드에 기반한 소개가 주를 이루었음
본 장에서는 가급적 사용자 기준에 맞춰서 뉴스 URL만 입력하면 댓글 수집할 수 있는 기능 소개함

2. 라이브러리

크롤링 및 대시보드 작업을 위한 필수 라이브러리는 다음과 같음 (requirements.txt)

colorama==0.4.4
dash==1.21.0
gunicorn==20.1.0
numpy==1.19.4
pandas==1.2.0
beautifulsoup4==4.9.3
openpyxl==3.0.7
requests==2.26.0

위 파일을 프로젝트의 가장 최상단에 위치시켜 놓는다.
설치 진행 시에는 pip install -r requirements.txt 해도 좋고, 아니면 개별적으로 설치를 해도 좋다.

3. 코드 설명

본장에서는 디테일한 코드 설명은 넘어가도록 한다.

(1) 크롤링 코드

먼저 크롤링 코드는 다음과 같다.

# 크롤링 라이브러리
from bs4 import BeautifulSoup
import requests
import re

# 데이터프레임
import pandas as pd

# 샘플 URL을 적용한다. 
url = "https://news.naver.com/main/read.naver?mode=LSD&mid=shm&sid1=100&oid=022&aid=0003609357" 

def get_df(url):
    # 댓글을 달 빈 리스트를 생성합니다.
    List = []
    url = url
    oid = url.split("oid=")[1].split("&")[0]
    aid = url.split("aid=")[1]
    page = 1
    header = {
        "User-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
        "referer": url,

    }
    while True:
        c_url = "https://apis.naver.com/commentBox/cbox/web_neo_list_jsonp.json?ticket=news&templateId=default_society&pool=cbox5&_callback=jQuery1707138182064460843_1523512042464&lang=ko&country=&objectId=news" + oid + "%2C" + aid + "&categoryId=&pageSize=20&indexSize=10&groupId=&listType=OBJECT&pageType=more&page=" + str(
            page) + "&refresh=false&sort=FAVORITE"
    # 파싱하는 단계입니다.
        r = requests.get(c_url, headers=header)
        cont = BeautifulSoup(r.content, "html.parser")
        total_comm = str(cont).split('comment":')[1].split(",")[0]

        match = re.findall('"contents":([^\*]*),"userIdNo"', str(cont))
        # 댓글을 리스트에 중첩합니다.
        List.append(match)

        # 한번에 댓글이 20개씩 보이기 때문에 한 페이지씩 몽땅 댓글을 긁어 옵니다.
        if int(total_comm) <= ((page) * 20):
            break
        else:
            page += 1

		# 
    def flatten(l):
        flatList = []
        for elem in l:
        # if an element of a list is a list
        # iterate over this list and add elements to flatList
            if type(elem) == list:
                for e in elem:
                    flatList.append(e)
            else:
               flatList.append(elem)
        return flatList

    # 리스트 결과입니다.
    # print(flatten(List))

    # convert dataframe
    data = pd.DataFrame(flatten(List), columns=["기사댓글"])
    data = data.rename_axis("index").reset_index()

    # write_excel
    # data.to_excel("news_comments.xlsx", sheet_name="Sheet1")
    return data

# data = get_df(url) # URL 테스트 시, 실행 
data = pd.DataFrame({"index": [0], "기사댓글": ["댓글"]}) # 앱 배포시 실행
# print(data.head())

중간에 주석처리 한 것을 풀면 된다.
해당 코드는 app.py 또는 일반적인 주피터 노트북, 구글 코랩에서 실행해도 된다.
수집된 댓글을 확인해보니, 중간에 삭제된 글은 댓글 수집 시, 제외되는 것을 확인할 수 있다.

Python Dash를 활용한 대시보드에서 엑셀 데이터로 다운로드 받기

Thu, 12 Aug 2021 09:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

[대시보드] Dash Project - Excel 다운로드

개요

각 레벨에 따라 달라지는 데이터를 시각화로 표현하고 결과치를 엑셀로 다운로드 받는 기능을 구현한다.

데이터 다운로드

데이터는 로그 분석을 통한 보안 위험도 예측 AI 경진대회 에서 가져왔다. (회원가입 필수)
- Data: https://dacon.io/competitions/official/235717/data
데이터는 train 데이터만 활용한다.

import pandas as pd
train_df = pd.read_csv("train.csv")

id  level                                           full_log
0   0      0  Sep 24 10:02:22 localhost kibana: {"type":"err...
1   1      0  Feb  8 16:21:00 localhost logstash: [2021-02-0...
2   2      0  Jan 13 01:50:40 localhost kibana: {"type":"err...
3   3      0  Jan  4 10:18:31 localhost kibana: {"type":"err...
4   4      1  type=SYSCALL msg=audit(1603094402.016:52981): ...

함수 작성

각 레벨에 따른 첫번째 글자수의 빈도를 구하는 데이터를 구하도록 한다.
예를 들면, level 1에 대한 첫번째 글자 수를 집계한 결과는 아래와 같다.
- 아래와 같은 결과값이 나오는 함수를 작성할 것이다.

index     cnt
0  type=SYSCALL  116496
1           Jan    3019
2           Oct    2904
3           Nov    2646
4           Feb    2381

먼저 함수를 작성해본다.

def get_df(data, level=0):

    # pandas dataframe
    lvl_df = data.loc[data.level == level].full_log.apply(lambda x: x.split(' ')[0]).value_counts().rename(
        'cnt').to_frame().reset_index()

    return lvl_df

data = get_df(train_df, level = 1)
print(data.head())
index     cnt
0  type=SYSCALL  116496
1           Jan    3019
2           Oct    2904
3           Nov    2646
4           Feb    2381

위 데이터를 토대로 시각화를 작성하고, 그 후에는 엑셀로 된 데이터로 변환하는 것이 목표이다.
이 때, 각 레벨의 값에 따라 데이터 결괏값과 시각화의 그림도 달라지게 된다.

프로젝트 폴더 정리

최종적인 프로젝트 폴더 및 파일은 아래와 같다.

C:.
│  .gitignore
│  app.py
│  README.md
│
│
├─assets
│      style.css
│
├─data
│      train.csv

(1) 데이터 불러오기

이제 app.py를 작성하도록 한다.
먼저 데이터를 불러오는 코드 사용자 정의 함수는 다음과 같다.

import dash
import dash_table
import dash_core_components as dcc
import dash_html_components as html
import pandas as pd
from dash.dependencies import Input, Output

# 함수 정의
def get_df(data, level=0):
    # pandas dataframe
    lvl_df = data.loc[data.level == level].full_log.apply(lambda x: x.split(' ')[0]).value_counts().rename(
        'cnt').to_frame().reset_index()

    return lvl_df

DATA_PATH = "data/"
train_df = pd.read_csv(DATA_PATH + "train.csv")
print(train_df.head())

data = get_df(train_df, level=1)
print(data.head()) # 결과치가 잘 나오는지 확인하다.

level=1 에서, 숫자를 변경하여 결괏값이 서로 다르게 나타나는지 반드시 확인하도록 한다.

(2) Dash 객체 생성

dash 클래스를 호출화여 app 인스턴스화를 진행한다.
또한, app.title 과 app.layout 작성한다.

.
.
external_stylesheets = [
    {
        "href": "https://fonts.googleapis.com/css2?"
                "family=Lato:wght@400;700&display=swap",
        "rel": "stylesheet",
    },
]
app = dash.Dash(__name__, external_stylesheets=external_stylesheets)
app.title = "Temp Analytics: Understand Your Data!"

app.layout = html.Div(
    html.P("Hello World")
)

if __name__ == "__main__":
	app.run_server(debug=True)

앱을 실행하면 아래와 같이 결괏값이 나타날 것이다.

id  level                                           full_log
0   0      0  Sep 24 10:02:22 localhost kibana: {"type":"err...
1   1      0  Feb  8 16:21:00 localhost logstash: [2021-02-0...
2   2      0  Jan 13 01:50:40 localhost kibana: {"type":"err...
3   3      0  Jan  4 10:18:31 localhost kibana: {"type":"err...
4   4      1  type=SYSCALL msg=audit(1603094402.016:52981): ...
          index     cnt
0  type=SYSCALL  116496
1           Jan    3019
2           Oct    2904
3           Nov    2646
4           Feb    2381
Dash is running on http://127.0.0.1:8050/

[http://127.0.0.1:8050/](http://127.0.0.1:8050/) 을 클릭하면 Hello World 만 나타날 것이다.

(3) HTML 상단 머리글 입력

이제 HTML 코드를 추가로 입력한다.
이제 app.layout 을 입력 하는 코드를 작성해보도록 한다.
HTML 코드는 DIV 태그가 기준이 된다. 따라서, DIV 태그가 완성될 때마다 화면을 공유하도록 했다.
먼저, 화면의 상단 DIV 태그를 작업한다.

.
.
app.layout = html.Div(
	children=[
        html.Div(
            children=[
                html.P(children="📈", className="header_emoji"),
                html.H1(children="Temp Analytics", className="header_title", ),
                html.P(children="Temp", className="header_description", ),
            ],
            className='header',
        ),
	]
)
.
.

아직 style.css을 입히기 전의 화면을 보면 다음과 같이 출력될 것이다.

Python Dash를 활용한 대시보드 만들기 with Heroku

Wed, 04 Aug 2021 18:10:47 +0900

강의 소개

필자의 강의를 소개합니다.

개요

대시보드 프로젝트를 진행한다.
Heroku에 배포까지 진행하는 것을 목적으로 한다.
참조: https://realpython.com/python-dash/
- 여기에 있는 내용을 최대한 간결하게 한글로 재 작성하였다. 중간에 없는 코드들도 있으니, 가급적 본 소스코드를 활용한다.

1. 데이터 수집

데이터: https://www.kaggle.com/neuromusic/avocado-prices
다운로드 받은 파일은 임의의 폴더 안에 넣습니다. (필자: dashboard-project21)

C:\Users\1\Desktop\dashboard-project21>tree /f
폴더 PATH의 목록입니다.
볼륨 일련 번호는 E657-CFA3입니다.
C:.
│  README.md
│
└─data
        avocado.csv

파일 경로를 주의해서 보도록 합니다.

2. 가상환경 및 라이브러리 설치

conda를 활용하여 가상환경 설정을 합니다.
(dashboard-project21) 형태로 터미널 명령어가 바뀌어 있어야 합니다.

$ conda create --name dashboard-project21 python=3.8
.
.
$ conda activate dashboard-project21
(dashboard-project21) C:\Users\1\Desktop\dashboard-project21>

이번에는 dash 라이브러리를 설치한다.

$ conda install dash
$ conda install pandas
$ conda install colorama

3. 대시 보드 코드 작성

(1) 데이터 수집 및 Dash 클래스 정의

import dash
import dash_core_components as dcc
import dash_html_components as html
import pandas as pd

# step 1. Data Import
data = pd.read_csv("avocado.csv", index_col=0)
data = data.query("type == 'conventional' and region == 'Albany'")
data["Date"] = pd.to_datetime(data["Date"], format="%Y-%m-%d")
data.sort_values("Date", inplace=True)

# step 2. Dash Class
app = dash.Dash(__name__)

dash 라이브러리는 대시보드 어플리케이션 초기화를 담당한다.
dash_core_components 동적 구성요소들(예: 그래프, 드롭다운 메뉴, 날짜 기간 등) 작성할 수 있도록 도와주는 기능을 제공한다.
dash_html_components 은 html 태그에 접근하도록 한다.
pandas 데이터 수집 및 가공을 제공할 수 있는 함수들을 지원한다.
코드 설명
- step 1
  - 데이터를 avocado.csv 데이터를 수집한 후, type = conventional 과, region = Albany 만 추출하는 행을 추출한다.
  - 그 이후 날짜의 오름차순으로 정렬하는 코드를 작성한다.
- step 2
  - Dash 클래스를 정의하여 app이라는 객체를 별도 생성한 것을 의미한다.

(2) 대시보드 HTML Layout 정의

이전 코드에 이어서 작성을 하도록 한다.

# step 3. HTML
app.layout = html.Div(
	  # Header Message
    children=[
        html.H1(children="Temp Analytics",),
        html.P(
            children="Temp",
        ),
        # 그래프		
        dcc.Graph(
            figure={
                "data": [
                    {
                        "x": data["Date"],
                        "y": data["AveragePrice"],
                        "type": "lines",
                    },
                ],
                "layout": {"title": "Title_1"},
            },
        ),
        dcc.Graph(
            figure={
                "data": [
                    {
                        "x": data["Date"],
                        "y": data["Total Volume"],
                        "type": "lines",
                    },
                ],
                "layout": {"title": "Title_2"},
            },
        ),
    ]
)

Dash는 크게 2가지로 구성이 된다.

Python과 Oracle 연동

Fri, 16 Jul 2021 00:40:30 +0900

개요

파이참에서 가상환경을 만들어 오라클 연동 예제를 작성한다.
아나콘다, 파이참, 그리고 오라클 설치는 생략한다.

1. 가상환경 활성화

cmd 창에서 가상 환경을 세팅 하도록 한다. (권장: 관리자 실행)
바탕화면에 필자는 python_oracle 폴더를 생성했다.
현재 경로는 아래와 같다.

C:\Users\1\Desktop\python_oracle>

먼저 가상환경을 만든다.

conda create --name your_env_name python=3.8
.
.
done
#
# To activate this environment, use
#
#     $ conda activate python_oracle
#
# To deactivate an active environment, use
#
#     $ conda deactivate

your_env_name 대신 다른 이름으로 설정해도 된다.
가상 환경에 접속한다.


C:\Users\1\Desktop\python_oracle>conda activate python_oracle
(python_oracle) C:\Users\1\Desktop\python_oracle>

2. 필수 라이브러리 설치

ML을 위한 필수 라이브러리를 설치한다.
pycaret & oracle

(python_oracle) C:\Users\1\Desktop\python_oracle>pip install pycaret
.
.
.
... wordcloud-1.8.1 yellowbrick-1.3.post1
(python_oracle) C:\Users\1\Desktop\python_oracle>pip install cx_Oracle
Collecting cx_Oracle
  Downloading cx_Oracle-8.2.1-cp38-cp38-win_amd64.whl (219 kB)
     |████████████████████████████████| 219 kB 2.2 MB/s
Installing collected packages: cx-Oracle
Successfully installed cx-Oracle-8.2.1
(python_oracle) C:\Users\1\Desktop\python_oracle> deactivate

deactivate 한 뒤, lsnrctl status 명령어를 통해 확인한다.

C:\Users\1\Desktop\python_oracle>lsnrctl status
LSNRCTL for 64-bit Windows: Version 19.0.0.0.0 - Production on 16-7월 -2021 10:28:24

Copyright (c) 1991, 2019, Oracle.  All rights reserved.

(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521)))에 연결되었습니다
리스너의 상태
------------------------
별칭                     LISTENER
버전                     TNSLSNR for 64-bit Windows: Version 19.0.0.0.0 - Production
시작 날짜                 13-7월 -2021 17:21:03
업타임                   2 일 17 시간. 7 분. 25 초
트레이스 수준            off
보안                     ON: Local OS Authentication
SNMP                     OFF리스너 매개변수 파일   C:\ORACLE\WINDOWS.X64_193000_db_home\network\admin\listener.ora
리스너 로그 파일         C:\ORACLE\diag\tnslsnr\DESKTOP-F7LRGM5\listener\alert\log.xml
끝점 요약 청취 중...
  (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=127.0.0.1)(PORT=1521)))
  (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(PIPENAME=\\.\pipe\EXTPROC1521ipc)))
  (DESCRIPTION=(ADDRESS=(PROTOCOL=tcps)(HOST=DESKTOP-F7LRGM5)(PORT=5500))(Security=(my_wallet_directory=C:\ORACLE\admin\orcl\xdb_wallet))(Presentation=HTTP)(Session=RAW))
서비스 요약...
"CLRExtProc" 서비스는 1개의 인스턴스를 가집니다.
  "CLRExtProc" 인스턴스(UNKNOWN 상태)는 이 서비스에 대해 1 처리기를 가집니다.
"orcl" 서비스는 1개의 인스턴스를 가집니다.
  "orcl" 인스턴스(READY 상태)는 이 서비스에 대해 1 처리기를 가집니다.
"orclXDB" 서비스는 1개의 인스턴스를 가집니다.
  "orcl" 인스턴스(READY 상태)는 이 서비스에 대해 1 처리기를 가집니다.
명령이 성공적으로 수행되었습니다

(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521)))에 연결되었습니다

3. 연동코드 작성

필수 정보를 확인한다.
- IP주소: localhost
- Port번호: 1521
- 서비스이름: orcl
JupyterLab을 연 후 코드를 작성한다. (관리자 살행)
- 가상환경 python_oracle 으로 연결이 되어 있는지 확인한다.

In ML, Data Leakage - 2

Thu, 15 Jul 2021 16:11:47 +0900

머신러닝 전처리 자주하는 안 좋은 습관들 모음

참고 자료: https://scikit-learn.org/stable/common_pitfalls.html

Sample 데이터

먼저 가상의 데이터를 하나 생성합니다.

from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split

random_state = 42
X, y = make_regression(random_state = random_state, n_features = 1, noise = 1)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.4, random_state = random_state)

Inconsistent preprocessing

모델을 학습시킬 때 이러한 데이터 변환을 사용하는 경우 테스트 데이터든 프로덕션 시스템의 데이터든 후속 데이터셋에도 사용해야 합니다. 그렇지 않으면 피쳐 공간이 변경되고 모델이 효과적으로 수행되지 않습니다.

Wrong

먼저, 잘못된 방식을 소개합니다.
train 데이터에는 scaler가 적용되었지만, 테스트 데이터에는 적용되지 않았습니다. 따라서, 이러한 경우 모델 성능이 예상보다 떨어질 수 있습니다.

from sklearn.metrics import mean_squared_error
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_transformed = scaler.fit_transform(X_train)
model = LinearRegression().fit(X_train_transformed, y_train)
mean_squared_error(y_test, model.predict(X_test))

62.80867119249524

Right

Non-Transformed X_test 데이터를 예측값으로 넣으려면 X_train과 마찬가지로 동일하게 transform을 적용해야 한다.

scaler = StandardScaler()
X_train_transformed = scaler.fit_transform(X_train)
X_test_transformed = scaler.transform(X_test)
model = LinearRegression().fit(X_train_transformed, y_train)
mean_squared_error(y_test, model.predict(X_test_transformed))

0.9027975466369481

더 좋은 방법은 pipeline을 구축하는 것이다.
- Pipeline 구축 예제: https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.Pipeline.html
transformation을 estimators와 쉽게 연계할 수 있으며 transformation을 잊어버릴 가능성도 줄어든다.
Pipeline은 또한 Data Leakage를 예방하는데

from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline

random_state = 42
X, y = make_regression(random_state = random_state, n_features = 1, noise = 1)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.4, random_state = random_state)

model = make_pipeline(StandardScaler(), LinearRegression())
model.fit(X_train, y_train)
mean_squared_error(y_test, model.predict(X_test))

0.9027975466369481

Data Leakage

모델을 구축할 때 예측 시점에 사용할 수 없는 정보가 사용될 때 데이터 누출이 발생함.
이로 인해 교차 검증 시, 매우 낙관적인 성능 추정치가 발생하기도 하며, 실제 새로운 데이터와 만날 때는 성능이 매우 크게 저하 되기도 함.
훈련 및 테스트 데이터 하위 집합 모두 이전 섹션에서 설명한 것과 동일한 전처리 변환을 받아야 하지만,
이러한 변환은 훈련 데이터에서만 학습되는 것이 중요하다. 예를 들어 평균값으로 나누는 정규화 단계가 있는 경우 평균은 모든 데이터의 평균이 아니라 훈련 데이터 하위 집합의 평균이어야 합니다. 테스트 하위 집합이 평균 계산에 포함되는 경우 테스트 하위 집합의 정보가 모델에 영향을 줍니다.
Data Leakage가 발생하는 몇가지 상황을 살펴본다.

Data Leakage During Pre-Processing

우선 가상의 데이터를 만듭니다.

import numpy as np 
n_samples, n_features, n_classes = 200, 100000, 2
rng = np.random.RandomState(42)
X = rng.standard_normal((n_samples, n_features))
y = rng.choice(n_classes, n_samples)

print(X.shape, y.shape)

(200, 100000) (200,)

Wrong

이제 transformation부터 머신러닝 학습, 그리고 평가까지 진행한다.

from sklearn.model_selection import train_test_split
from sklearn.feature_selection import SelectKBest
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import accuracy_score

# 여기 부분이 잘못 되었다. 
X_selected = SelectKBest(k=25).fit_transform(X, y)

X_train, X_test, y_train, y_test = train_test_split(X_selected, y, random_state=42)
gbc = GradientBoostingClassifier(random_state=1)
gbc.fit(X_train, y_train)

y_pred = gbc.predict(X_test)
accuracy_score(y_test, y_pred)

0.72

Right

Data Leakage를 예방하기 위해 먼저 train 데이터와 test 데이터를 분리한다.
fit이나 fit_transform은 train 데이터에만 적용한다.

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state = 42)
select = SelectKBest(k=25)

X_train_selected = select.fit_transform(X_train, y_train)
gbc = GradientBoostingClassifier(random_state = 1)
gbc.fit(X_train_selected, y_train)

GradientBoostingClassifier(ccp_alpha=0.0, criterion='friedman_mse', init=None,
                           learning_rate=0.1, loss='deviance', max_depth=3,
                           max_features=None, max_leaf_nodes=None,
                           min_impurity_decrease=0.0, min_impurity_split=None,
                           min_samples_leaf=1, min_samples_split=2,
                           min_weight_fraction_leaf=0.0, n_estimators=100,
                           n_iter_no_change=None, presort='deprecated',
                           random_state=1, subsample=1.0, tol=0.0001,
                           validation_fraction=0.1, verbose=0,
                           warm_start=False)

X_test_selected = select.transform(X_test)
y_pred = gbc.predict(X_test_selected)
accuracy_score(y_test, y_pred)

0.5

이번에는 Pipeline을 통해 구성하도록 한다.

from sklearn.pipeline import make_pipeline

X_train, X_test, y_train, y_test = train_test_split(
    X, y, random_state=42)

pipeline = make_pipeline(SelectKBest(k=25), 
                         GradientBoostingClassifier(random_state=1))

pipeline.fit(X_train, y_train)

Pipeline(memory=None,
         steps=[('selectkbest',
                 SelectKBest(k=25,
                             score_func=<function f_classif at 0x7f56a7c7f5f0>)),
                ('gradientboostingclassifier',
                 GradientBoostingClassifier(ccp_alpha=0.0,
                                            criterion='friedman_mse', init=None,
                                            learning_rate=0.1, loss='deviance',
                                            max_depth=3, max_features=None,
                                            max_leaf_nodes=None,
                                            min_impurity_decrease=0.0,
                                            min_impurity_split=None,
                                            min_samples_leaf=1,
                                            min_samples_split=2,
                                            min_weight_fraction_leaf=0.0,
                                            n_estimators=100,
                                            n_iter_no_change=None,
                                            presort='deprecated',
                                            random_state=1, subsample=1.0,
                                            tol=0.0001, validation_fraction=0.1,
                                            verbose=0, warm_start=False))],
         verbose=False)

테스트 데이터는 예측을 할 때만 사용하도록 한다.

y_pred = pipeline.predict(X_test)
accuracy_score(y_test, y_pred)

0.5

Pipeline은 cross_val_score에 직접 사용할 수도 있다.

from sklearn.model_selection import cross_val_score
scores = cross_val_score(pipeline, X, y)
print(f"Mean accuracy: {scores.mean():.2f}+/-{scores.std():.2f}")

Mean accuracy: 0.52+/-0.04

In ML, Data Leakage - 1

Thu, 15 Jul 2021 11:11:47 +0900

Data Leakage

모형 평가를 하기 전에 전체 데이터셋을 가공 및 변환함.
이를 평가에 반영하면 새로운 데이터를 예측할 때 부정확한 결과를 도출 할 수 있음.
이를 방지 하기 위해서는 training 데이터만 데이터 전처리를 수행하는 것이 바람직함.
Data Leakage를 피하기 위해서는 scikit-learn modeling pipeline을 설계해햐 함.

데이터 준비

가상의 데이터를 준비한다.
데이터는 모두 수치형 데이터로 준비했다.

from sklearn.datasets import make_classification
X, y = make_classification(n_samples = 1000, n_features = 20, n_informative = 15, n_redundant = 5, random_state = 7)

# summarize the dataset
print(X.shape, y.shape)

(1000, 20) (1000,)

일반적인 방법의 데이터 전처리

수치형 데이터이기 때문에, MinMaxScaler 클래스를 활용한다.

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
X = scaler.fit_transform(X)

이번에는 데이터셋을 분리하도록 한다.

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state = 7)

이번에는 로지스틱 회귀분석을 시행한다.

from sklearn.linear_model import LogisticRegression

model = LogisticRegression()
model.fit(X_train, y_train)

LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
                   intercept_scaling=1, l1_ratio=None, max_iter=100,
                   multi_class='auto', n_jobs=None, penalty='l2',
                   random_state=None, solver='lbfgs', tol=0.0001, verbose=0,
                   warm_start=False)

이제 모형을 평가하도록 합니다.

from sklearn.metrics import accuracy_score

yhat = model.predict(X_test)
accuracy = accuracy_score(y_test, yhat)

print('Accuracy: %.3f' % (accuracy * 100))

Accuracy: 84.848

이것이 일반적인 방법론이다. 그러나 엄밀히 말하면 Data Leakage 현상이 나타났다고 볼 수 있다.

Data Leakage 피하는 방법

이번에는 먼저 데이터 셋을 분리하도록 합니다.
Train 데이터에만 scaler를 적용하도록 합니다.

from sklearn.utils.validation import check_random_state

X, y = make_classification(n_samples = 2000, n_features = 20, n_informative = 15, n_redundant = 5, random_state = 7)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state = 1)

그 후, X_train과 X_test에만 scaler를 적용한다.

scaler = MinMaxScaler()
scaler.fit(X_train)
X_train = scaler.transform(X_train)
X_test = scaler.transform(X_test)

이제 모형을 만든 후, 결괏값을 적용합니다.

model = LogisticRegression()
model.fit(X_train, y_train)
yhat = model.predict(X_test)
accuracy = accuracy_score(y_test, yhat)

print('Accuracy: %.3f' % (accuracy * 100))

Accuracy: 88.333

결과를 보면 알겠지만, 모형의 성능에도 좋지 않음을 올 수 있다.

Reference

Jason Brownlee. 2020. How to Avoid Data Leakage When Performing Data Preparation. Retrieved from https://machinelearningmastery.com/data-preparation-without-data-leakage/

엑셀 데이터 가공하기 변환

Mon, 12 Jul 2021 05:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

정리되지 못한 엑셀 파일을 불러와서 하나의 테이블을 만드는 과정을 진행해본다.

위 데이터를 원본 그대로 받아서 pandas 데이터 프레임에 추가한다.
A3 셀에 있는 [시·도지사선거][서울특별시][강남구] 분리하여 각 column에 추가한다.

라이브러리 불러오기

3개의 라이브러리를 불러온다.

import pandas as pd
import openpyxl
import os

파일 확인

data 폴더 내 데이터를 확인한다.
추후, 엑셀 데이터만 추려서 반복문을 활용하여 동일하게 처리할 수 있도록 상상을 한다.

print(os.listdir('data'))

['1 강남구-[2021년_재·보궐선거]_개표단위별_개표결과.xlsx', '.DS_Store', '~$1 강남구-[2021년_재·보궐선거]_개표단위별_개표결과.xlsx']

openpyxl 라이브러리 할용

openpyxl 라이브러리는 A Python library to read/write Excel 2010 xlsx/xlsm files을 가지고 있다.
먼저 A3 셀에 있는 [시·도지사선거][서울특별시][강남구] 데이터를 가져오도록 한다.
이 때, openpyxl 라이브리를 활용하면 각 셀에 접근해서 개별적으로 데이터를 가져올 수 있다.

DATA_PATH = "data"
FILE_PATH = os.listdir(DATA_PATH)[0]
wb_obt= openpyxl.load_workbook("data/" + FILE_PATH) 
sheet = wb_obt.active
values = sheet["A3"].value
values

'[시·도지사선거][서울특별시][강남구]'

문자열 전처리

먼저 하나의 셀로 연결되어 있는 것을 각각 분리하도록 하는 코드를 작성한다.
strip(‘pattern’)는 특정 문자를 제거하는 것이고, split(‘pattern’)는 문자열을 특수문자로 분리하는 것이다.

city_list = values.strip("[]").split("][")
city_list

['시·도지사선거', '서울특별시', '강남구']

데이터 수집 및 전처리

이 때 중요한 parameters는 skiprows, header이다.
먼저 skiprows는 특정 행은 건너 뛴다는 의미를 가지고 있다. 즉, 데이터프레임에 접근하기 전까지의 행은 건너 뛴다는 의미다.
header는 엑셀의 열에 해당하는데, 본 데이터에서는 multiple headers가 있다. 따라서, 이를 리스트 처리하면 해당 열은 모두 가져올 수 있다.

df = pd.read_excel("data/1 강남구-[2021년_재·보궐선거]_개표단위별_개표결과.xlsx", skiprows=3,  header=[0, 1], )
df.drop(columns=df.columns[-1], axis=1, inplace=True) # 마지막 column은 NAN라 삭제.  
print(df.head())

                읍면동명               투표구명               선거인수                투표수  \
  Unnamed: 0_level_1 Unnamed: 1_level_1 Unnamed: 2_level_1 Unnamed: 3_level_1   
0                 합계                              452344.0           276485.0   
1               거소투표                                3062.0             2877.0   
2             관외사전투표                               12957.0            12955.0   
3                신사동                 소계            13922.0             8672.0   
4                                관내사전투표             2667.0             2667.0   

     후보자별 득표수                                                               \
  더불어민주당\n박영선 국민의힘\n오세훈 기본소득당\n신지혜 국가혁명당\n허경영 미래당\n오태양 민생당\n이수봉 민생당\n이수봉.1   
0     66907.0  202320.0      909.0     2005.0    229.0    424.0        NaN   
1       595.0    1995.0       14.0       97.0     11.0     24.0        NaN   
2      4393.0    8171.0       48.0      100.0     18.0     18.0        NaN   
3      1581.0    6910.0       20.0       45.0      6.0     15.0        NaN   
4       632.0    1977.0        6.0       12.0      3.0      6.0        NaN   

                                                                        \
  신자유민주연합\n배영규 여성의당\n김진아 진보당\n송명숙 무소속\n정동희 무소속\n이도엽 무소속\n신지예         계   
0         20.0    1212.0    274.0     82.0     47.0    655.0  275084.0   
1          3.0       2.0      6.0      8.0      2.0      8.0    2765.0   
2          0.0      67.0     23.0      6.0      2.0     39.0   12885.0   
3          1.0      36.0      5.0      3.0      1.0     20.0    8643.0   
4          0.0       8.0      3.0      1.0      1.0      5.0    2654.0   

              무효\n투표수                 기권수  
  Unnamed: 18_level_1 Unnamed: 19_level_1  
0              1401.0            175859.0  
1               112.0               185.0  
2                70.0                 2.0  
3                29.0              5250.0  
4                13.0                 0.0

header[0]값은 읍면동명, 투표구명, 선거인수, 투표수 등으로 정리가 되어 있다.
header[1]값은 각 후보들의 값이 나타난 것을 확인할 수 있다.
여기에서 후보자별 득표수만 지우기만 하면 된다. 다만, 각각 가져와야 하는 값이 서로 다르다.
- 이 때, MultiIndex에 대응하기 위해 get_level_values() 함수를 사용한다.

df.columns

MultiIndex([(    '읍면동명',  'Unnamed: 0_level_1'),
            (    '투표구명',  'Unnamed: 1_level_1'),
            (    '선거인수',  'Unnamed: 2_level_1'),
            (     '투표수',  'Unnamed: 3_level_1'),
            ('후보자별 득표수',         '더불어민주당\n박영선'),
            ('후보자별 득표수',           '국민의힘\n오세훈'),
            ('후보자별 득표수',          '기본소득당\n신지혜'),
            ('후보자별 득표수',          '국가혁명당\n허경영'),
            ('후보자별 득표수',            '미래당\n오태양'),
            ('후보자별 득표수',            '민생당\n이수봉'),
            ('후보자별 득표수',          '민생당\n이수봉.1'),
            ('후보자별 득표수',        '신자유민주연합\n배영규'),
            ('후보자별 득표수',           '여성의당\n김진아'),
            ('후보자별 득표수',            '진보당\n송명숙'),
            ('후보자별 득표수',            '무소속\n정동희'),
            ('후보자별 득표수',            '무소속\n이도엽'),
            ('후보자별 득표수',            '무소속\n신지예'),
            ('후보자별 득표수',                   '계'),
            ( '무효\n투표수', 'Unnamed: 18_level_1'),
            (     '기권수', 'Unnamed: 19_level_1')],
           )

df.columns.get_level_values(0)

Index(['읍면동명', '투표구명', '선거인수', '투표수', '후보자별 득표수', '후보자별 득표수', '후보자별 득표수',
       '후보자별 득표수', '후보자별 득표수', '후보자별 득표수', '후보자별 득표수', '후보자별 득표수', '후보자별 득표수',
       '후보자별 득표수', '후보자별 득표수', '후보자별 득표수', '후보자별 득표수', '후보자별 득표수', '무효\n투표수',
       '기권수'],
      dtype='object')

df.columns.get_level_values(1)

Index(['Unnamed: 0_level_1', 'Unnamed: 1_level_1', 'Unnamed: 2_level_1',
       'Unnamed: 3_level_1', '더불어민주당\n박영선', '국민의힘\n오세훈', '기본소득당\n신지혜',
       '국가혁명당\n허경영', '미래당\n오태양', '민생당\n이수봉', '민생당\n이수봉.1', '신자유민주연합\n배영규',
       '여성의당\n김진아', '진보당\n송명숙', '무소속\n정동희', '무소속\n이도엽', '무소속\n신지예', '계',
       'Unnamed: 18_level_1', 'Unnamed: 19_level_1'],
      dtype='object')

이제, 각각의 index를 list로 변환후 하나의 column으로 합치는 과정을 진행한다.
총 20개의 column이 정렬된 것을 확인할 수 있다.

col_1 = df.columns.get_level_values(0)[0:4].tolist()
col_2 = df.columns.get_level_values(1)[4:-2].tolist()
col_3 = df.columns.get_level_values(0)[-3:-1].tolist()
cols = col_1 + col_2 + col_3
cols

['읍면동명',
 '투표구명',
 '선거인수',
 '투표수',
 '더불어민주당\n박영선',
 '국민의힘\n오세훈',
 '기본소득당\n신지혜',
 '국가혁명당\n허경영',
 '미래당\n오태양',
 '민생당\n이수봉',
 '민생당\n이수봉.1',
 '신자유민주연합\n배영규',
 '여성의당\n김진아',
 '진보당\n송명숙',
 '무소속\n정동희',
 '무소속\n이도엽',
 '무소속\n신지예',
 '계',
 '후보자별 득표수',
 '무효\n투표수']

df.columns = cols
df.columns

Index(['읍면동명', '투표구명', '선거인수', '투표수', '더불어민주당\n박영선', '국민의힘\n오세훈', '기본소득당\n신지혜',
       '국가혁명당\n허경영', '미래당\n오태양', '민생당\n이수봉', '민생당\n이수봉.1', '신자유민주연합\n배영규',
       '여성의당\n김진아', '진보당\n송명숙', '무소속\n정동희', '무소속\n이도엽', '무소속\n신지예', '계',
       '후보자별 득표수', '무효\n투표수'],
      dtype='object')

이제 시도와 시군구를 각각 추가한다.

df['시도'] = city_list[1]
df['시군구'] = city_list[2]

print(df.head(10))

     읍면동명    투표구명      선거인수       투표수  더불어민주당\n박영선  국민의힘\n오세훈  기본소득당\n신지혜  \
0      합계          452344.0  276485.0      66907.0   202320.0       909.0   
1    거소투표            3062.0    2877.0        595.0     1995.0        14.0   
2  관외사전투표           12957.0   12955.0       4393.0     8171.0        48.0   
3     신사동      소계   13922.0    8672.0       1581.0     6910.0        20.0   
4          관내사전투표    2667.0    2667.0        632.0     1977.0         6.0   
5          신사동제1투    2313.0    1052.0        205.0      827.0         1.0   
6          신사동제2투    1740.0     733.0        220.0      492.0         3.0   
7          신사동제3투    1896.0     813.0        261.0      508.0         6.0   
8          신사동제4투    2812.0    1736.0        112.0     1611.0         0.0   
9          신사동제5투    2494.0    1671.0        151.0     1495.0         4.0   

   국가혁명당\n허경영  미래당\n오태양  민생당\n이수봉  ...  여성의당\n김진아  진보당\n송명숙  무소속\n정동희  \
0      2005.0     229.0     424.0  ...     1212.0     274.0      82.0   
1        97.0      11.0      24.0  ...        2.0       6.0       8.0   
2       100.0      18.0      18.0  ...       67.0      23.0       6.0   
3        45.0       6.0      15.0  ...       36.0       5.0       3.0   
4        12.0       3.0       6.0  ...        8.0       3.0       1.0   
5         8.0       1.0       1.0  ...        4.0       0.0       1.0   
6        10.0       0.0       2.0  ...        5.0       0.0       0.0   
7         8.0       0.0       3.0  ...       14.0       2.0       0.0   
8         2.0       1.0       2.0  ...        2.0       0.0       1.0   
9         5.0       1.0       1.0  ...        3.0       0.0       0.0   

   무소속\n이도엽  무소속\n신지예         계  후보자별 득표수   무효\n투표수     시도  시군구  
0      47.0     655.0  275084.0    1401.0  175859.0  서울특별시  강남구  
1       2.0       8.0    2765.0     112.0     185.0  서울특별시  강남구  
2       2.0      39.0   12885.0      70.0       2.0  서울특별시  강남구  
3       1.0      20.0    8643.0      29.0    5250.0  서울특별시  강남구  
4       1.0       5.0    2654.0      13.0       0.0  서울특별시  강남구  
5       0.0       2.0    1050.0       2.0    1261.0  서울특별시  강남구  
6       0.0       1.0     733.0       0.0    1007.0  서울특별시  강남구  
7       0.0       6.0     809.0       4.0    1083.0  서울특별시  강남구  
8       0.0       1.0    1732.0       4.0    1076.0  서울특별시  강남구  
9       0.0       5.0    1665.0       6.0     823.0  서울특별시  강남구  

[10 rows x 22 columns]

어느정도 정리가 된 것으로 보인다.

AirFlow ch01. 개요

Fri, 09 Jul 2021 14:30:47 +0900

인프런 강의

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

공지

Airflow 2.0 원서 나온 것을 공부용으로 활용합니다.

Airflow Project

이 책에 나온 내용을 Chapter별로 요약하여 정리하려고 한다.
원서 구매 페이지는 아래와 같다.
구매 페이지: Data Pipelines with Apache Airflow

Chapter 1. Apache Airflow Introduction

AirFlow 설치 및 실행 with M1

Thu, 08 Jul 2021 14:30:47 +0900

인프런 강의

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

미니 프로젝트 개요

목적: Airflow와 빅쿼리를 활용하여 ETL 및 대시보드를 만들어보는 과정을 설계
환경: MacOS M1

Part I. Docker and Airflow

Docker와 Airflow를 설치 및 실행한다.
필자는 가상환경을 선정하고, 그 위에 도커를 추가로 설치하였다.

PostgreSQL 기초 1

Sun, 04 Jul 2021 00:40:30 +0900

개요

psql shell 명령어를 간단히 배우도록 한다.
Database, Schema, Table를 생성하도록 한다.
데이터타입에 대해 배우도록 한다.

psql Shell 명령어

명령어	설명
\q	psql을 종료한다.
\l	데이터베이스를 조회한다.
\c	입력한 DB로 이동한다.
\e	외부편집기로 sql 쿼리 입력 가능
\dt	현재 DB에서 테이블을 확인할 수 있음.

자주 사용하는 명령어이기 때문에 확인한다.

DB 및 Table 다루기

콘솔창에서 book 이름의 DB를 생성한다.

evan=# CREATE DATABASE book;
CREATE DATABASE

그 후, book에 접속한다.

evan=# \c book
You are now connected to database "book" as user "evan".
book=#

이번에는 DROP DATABASE 구문을 통해 book 삭제한다.

evan=# DROP DATABASE book;
DROP DATABASE

SCHEMA 생성

postgres=# CREATE SCHEMA ann_simmons;
CREATE SCHEMA

postgres=# CREATE SCHEMA ty_beck;
CREATE SCHEMA

postgres=# CREATE SCHEMA production;
CREATE SCHEMA

Two Table 생성

두개의 테이블을 생성한다.

CREATE TABLE customers ();
CREATE TABLE orders ();

커밋을 항상 진행한다.
psql 터미널에서 \dt를 실행하여 출력값이 잘 나오는지 확인한다.

postgres=# \dt
         List of relations
 Schema |   Name    | Type  | Owner 
--------+-----------+-------+-------
 public | customers | table | evan
 public | orders    | table | evan
(2 rows)

Primary Key 생성

이번에는 Primary Key 생성하는 것을 준비한다.
이제 이 두개의 Table를 생성하도록 합니다.

CREATE TABLE business_type (
	id serial PRIMARY KEY,
  	description TEXT NOT NULL
);

CREATE TABLE applicant (
	id serial PRIMARY KEY,
  	name TEXT NOT NULL,
  	zip_code CHAR(5) NOT NULL,
  	business_type_id INTEGER references business_type(id)
);

CREATE TABLE users (
  id serial PRIMARY KEY,
  first_name TEXT NOT NULL,
  last_name TEXT NOT NULL,
  email TEXT NOT NULL,
  hashed_password CHAR(72) NOT NULL
);

schema.table 생성

temp schema를 생성한 후, temp.users table를 작성한다.

CREATE TABLE temp.users (
  id serial PRIMARY KEY,
  first_name TEXT NOT NULL,
  last_name TEXT NOT NULL,
  email TEXT NOT NULL,
  hashed_password CHAR(72) NOT NULL
);

Data Types

크게 Text, NUMERIC, BOOLEAN 형태로 구성이 됩니다.

-- Create the project table
CREATE TABLE project (
	-- Primary Key
	id SERIAL PRIMARY KEY,
    -- franchise 기회
	is_franchise BOOLEAN DEFAULT FALSE,
	-- Franchise 이름
    franchise_name TEXT DEFAULT NULL,
    -- Project 시도
    project_state TEXT,
    -- Project 시군
    project_county TEXT,
    -- Project로 발생한 Job 수
    jobs_supported NUMERIC
);

Data Types URL: https://www.postgresql.org/docs/current/datatype.html

다양한 Text Data Types

CREATE TABLE book (
  isbn CHAR(13) NOT NULL, 
  author_first_name VARCHAR(50) NOT NULL, 
  author_last_name VARCHAR(50) NOT NULL, 
  content TEXT NOT NULL
);

Text data 타입은: TEXT, VARCHAR(N), CHAR(N) 크게 3가지 형태로 구성이 된다.
TEXT
- 길이를 알 수 없는 텍스트 데이터에 적합
VARCHAR(N)
- N은 최대 길이가 N자인 문자열만 저장하도록 열을 제한함.
- N보다 글자수가 큰 값이 입력이 되면 error가 발생이 됨
- 만약 N을 지정하지 않으면 TEXT와 동일하게 됨
CHAR(N)
- 정확하게 N 숫자만큼 글자만 들어가게 됨
- isbn은 주로 출판사에서 볼 수 있는 문자열임

Numeric Data

CREATE TABLE employee (
  id SERIAL PRIMARY KEY, 
  first_name VARCHAR(10) NOT NULL, 
  last_name VARCHAR(10) NOT NULL, 
  num_sales INTEGER
)

-- Create the client table
CREATE TABLE client (
  id SERIAL PRIMARY KEY,
  name VARCHAR(50),
  site_url VARCHAR(50),
  num_employees SMALLINT,
  num_customers INTEGER
);

-- Create the campaign table
CREATE TABLE campaign (
  id SERIAL PRIMARY KEY,
  name VARCHAR(50),
  budget NUMERIC(7, 2),
  num_days SMALLINT DEFAULT 30,
  goal_amount INTEGER DEFAULT 100,
  num_applications INTEGER DEFAULT 0
);

Integer Types

(Python-Plotly) Plotly 그래프 깃헙 블로그에 올리기

Thu, 24 Jun 2021 10:30:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

깃헙 브로그에 동적 시각화를 올리는 방법에 대해 기술한다.
현재까지 찾아낸 것은 이게 최선입니다! 더 나은 것이 있다면 공유 부탁드립니다. (꾸벅)

필수 라이브러리 설치

라이브러리를 설치합니다.
- Getting Started with Plotly in Python, https://plotly.com/python/getting-started/
- Getting Started with Chart Studio in Python, https://plotly.com/python/getting-started-with-chart-studio/

$ pip install plotly
$ pip install chart_studio

plotly의 역할 그래프를 작성하는 기본 도구이며, chart_studio의 역할은 그래프를 plotly 홈페이지 업로드 할 수 있도록 도와주고, 또한 iframe output으로 변환하는 데 도움을 주는 코드이다.

step 01. 그래프 작성

그래프를 작성합니다.

import plotly.express as px
import chart_studio

gapminder = px.data.gapminder()
fig = px.scatter(gapminder.query("year==2007"), x="gdpPercap", y="lifeExp", size="pop", color="continent",
           hover_name="country", log_x=True, size_max=60)
fig.show()

위 출력물은 실제로는 동적 시각화로 구현이 됩니다만, 캡쳐하여 올려 놓습니다.

File Download VIA SSH Terminal

Fri, 11 Jun 2021 09:30:30 +0900

1줄 요약

CURL 명령어는 진심 매우 좋더라.

동기부여

SQL 강의를 해야 하는데, 그에 맞는 데이터를 찾는 중이었다. SQL 예제와 함께 있는 데이터를 찾던 중, URL로 적힌 CSV 파일을 확인하였다. 이를 직접 Download로 쉽게 받을 수 있을 까 하는 생각에 구글링 몇개 해보였다.

참고자료

StackoverFlow에 다음과 같은 글을 찾았다.
- URL: How to download CSV via terminal (SSH)?
참고 소스 코드는 아래와 같다.

-o, --output <file>
          Write  output to <file> instead of stdout.
-O, --remote-name
          Write output to a local file named like the remote file we get. (Only the file part of the remote file is used, the path is cut off.)

예시 코드는 다음과 같다.

$ curl -O https://data.cityofchicago.org/api/views/ijzp-q8t2/rows.csv?accessType=DOWNLOAD > Chicago.csv

$ curl https://data.cityofchicago.org/api/views/ijzp-q8t2/rows.csv?accessType=DOWNLOAD > Chicago.csv

적용

필자 역시 적용해 보았다.

$ curl -O "https://assets/your_url/actsin.csv" > temp.csv
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  2078  100  2078    0     0   7556      0 --:--:-- --:--:-- --:--:--  7528
$ ls
actsin.csv

정상적으로 다운로드 되 것을 확인할 수 있었다. 는

SQL 데이터로 불러오기

필자는 postgreSQL 강의를 준비하고 있어서, 해당 데이터를 pgAdmin4로 활용하여 불러보았다.
먼저 테이블을 생성한다.

DROP TABLE IF EXISTS "actsin";
CREATE TABLE actsin
(
    actsin_id integer PRIMARY KEY,
    movie_id integer,
    actor_id integer
);

그리고 파일을 불러온 후 쿼리로 잘 불러오는지 확인합니다.
- 중간 내용은 생략이 되었습니다. 추후 파일 불러오는 블로그 작성 시 공유 합니다.

SELECT * FROM actsin LIMIT 5;
 actsin_id | movie_id | actor_id 
-----------+----------+----------
         1 |       37 |        1
         2 |       56 |        2
         3 |       10 |        3
         4 |       14 |        3
         5 |       29 |        3
(5 rows)

정상적으로 데이터가 조회되는 것을 확인할 수 있습니다.

PostgreSQL 테이블 생성 예제

Wed, 09 Jun 2021 00:40:30 +0900

테이블 생성 및 수정 삭제

pgAdmin4을 활용한 테이블 수정 삭제
Schemas에서 public-Table 마우스 오른쪽 버튼을 누른 뒤 Query Tool을 선택합니다.

developers 테이블을 별도로 생성합니다.

CREATE TABLE developers (
	book_id INTEGER, 
	date DATE,
	name VARCHAR(80)
)

CREATE TABLE
Query returned successfully in 65 msec.

이번에는 값을 입력하도록 합니다.

INSERT INTO developers VALUES(1, '2019-12-17', '"자바"')

그런데, 작은 따옴표(’)를 넣고 싶을 때는 큰 따옴표(")로 깜사면, 에러가 발생이 됩니다.

INSERT INTO developers VALUES(2, '2019-12-17', "'자바'")

ERROR: 오류:  "'자바'" 이름의 칼럼은 없습니다
LINE 1: INSERT INTO developers VALUES(1, '2019-12-17', "'자바'")
                                                       ^
SQL state: 42703
Character: 48

이런 경우에는 작은 따옴표를 두번 입혀서 깜사도록 합니다.

INSERT INTO developers VALUES(2, '2019-12-17', '''자바''')

INSERT 0 1

Query returned successfully in 38 msec.

이번에는 Python’s Programming을 입력하도록 합니다.
입력하고자 하는 ‘주위로 각각 두번 ’’ 입력하도록 합니다.

INSERT INTO developers VALUES(3, '2019-12-17', 'Python''s Programming');

INSERT 0 1

Query returned successfully in 32 msec.

테이블 조회

일단 먼저 잘 조회가 되는지 확인 하도록 합니다.

SELECT * FROM developers;

pgAdmin4 GUI installation on MacOS M1

Mon, 07 Jun 2021 23:15:47 +0900

pgAdmin 설치 및 서버 연결 (MacOS)

GUI 프로그램을 설치해본다.
Windows는 자동으로 설치가 되기 때문에 생략을 한다.
먼저 해당 싸이트에 접속을 합니다.
- URL: https://www.pgadmin.org/download/

macOS를 클릭한 뒤 다음 화면에서 pgAdmin 4 v5.3 최신버전을 다운로드 받도록 합니다.

프로그램을 설치하면 첫 화면에서 Password를 입력하도록 합니다.

새로운 서버를 생성하여 서버를 등록하도록 합니다. 그 후에 이름은 LocalTest라고 정합니다.

그 후에, username은 postgres를 username으로 입력하고 Postgresql을 설치할 때 설정한 password를 입력합니다.

실제 서버에 연결 되었는지 확인하도록 합니다.

Postgre SQL Installation on Windows 10

Fri, 04 Jun 2021 07:40:30 +0900

Windows

PostgreSQL Downloads
- URL: https://www.enterprisedb.com/downloads/postgres-postgresql-downloads
- 각 컴퓨터에 맞는 버전을 선택합니다.

필자는 13.3 버전을 선택하였습니다.
이번에는 프로그램을 클릭하여 설치를 진행합니다.
모든 값은 default로 진행합니다.
비밀번호는 작성 후, 반드시 기억하시기를 바랍니다.
- 필자는 temp라고 명명하였습니다.

포트는 5432를 확인합니다.

언어는 한국어로 선택하도록 합니다.

몇번의 Next를 더 누르시면서, 설치를 진행합니다.

설치가 완료되면 Stack Builder 체크 박스는 제 후 완료를 합니다. 해
프로그램을 검색하여 PostgreSQL이 잘 설정되는지 확인을 하도록 합니다.

환경변수 추가

CMD에서 활용하려면 환경변수를 설정하도록 합니다.
먼저 경로를 복사합니다.

[Python] 이미지 데이터 입출력

Wed, 02 Jun 2021 14:10:47 +0900

1줄 요약

OpenCV를 활용한 다양한 이미지 입출력에 대해 배우도록 한다.

Reading/Writing an image file

이미지 관련 I/O
BMP, PNG, JPEG, and TIFF also supported.

import numpy as np
img = np.zeros((3, 3), dtype=np.uint8)
img

array([[0, 0, 0],
       [0, 0, 0],
       [0, 0, 0]], dtype=uint8)

각 픽셀은 8비트 int로 구성되어 있음.
각 픽셀의 범위는 0-255, 0은 검은색, 255는 흰색을 의미함.

import cv2 
img = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR)
img

array([[[0, 0, 0],
        [0, 0, 0],
        [0, 0, 0]],

       [[0, 0, 0],
        [0, 0, 0],
        [0, 0, 0]],

       [[0, 0, 0],
        [0, 0, 0],
        [0, 0, 0]]], dtype=uint8)

3차원 배열을 의미. 각 채널은 Blue, Green, Red를 의미한다.

image Load

Convert PNG into JPEG
사용할 이미지는 아래와 같다.

Postgre SQL Installation on MacOS M1

Mon, 31 May 2021 07:40:30 +0900

1줄 요약

MacOS M1에서 PostgreSQL 설치에서 중요한 건 환경변수만 추가한다.

M1의 구조

M1애서는 Intel, Silicon, Universal 3개의 시스템을 지원한다.
- 그런데, PostgreSQL 프로그램은 기본적으로 Intel 기반으로 작동을 한다.

Postgre SQL 다운로드

해당 웹 페이지로 간다. (URL: https://postgresapp.com/)
다운로드 받은 후 Postgres-2.4.3-13.dmg (2021.5.31일 기준) 설치 파일을 클릭한 후, 아래 화면이 나오면, 설치를 진행합니다.
설치 진행이 완료가 되면 아래 화면에서 Initialize 또는 Start 버튼을 클릭하면 설치는 끝이 납니다.

환경변수 설정

그런데, 환경변수 설정을 하지 않으면 터미널에서 실행이 되지 않습니다.

$ psql
-bash: psql: command not found

Pandas 속도 비교 - with or without Dictionary

Sun, 30 May 2021 10:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

1줄 요약

Dictionary를 활용한 값 변경의 속도가 훨씬 빠르다.

데이터 불러오기

diamonds 데이터셋을 불러온다.

import pandas as pd
import seaborn as sns

diamonds = sns.load_dataset('diamonds')
print(diamonds)

       carat        cut color clarity  depth  table  price     x     y     z
0       0.23      Ideal     E     SI2   61.5   55.0    326  3.95  3.98  2.43
1       0.21    Premium     E     SI1   59.8   61.0    326  3.89  3.84  2.31
2       0.23       Good     E     VS1   56.9   65.0    327  4.05  4.07  2.31
3       0.29    Premium     I     VS2   62.4   58.0    334  4.20  4.23  2.63
4       0.31       Good     J     SI2   63.3   58.0    335  4.34  4.35  2.75
...      ...        ...   ...     ...    ...    ...    ...   ...   ...   ...
53935   0.72      Ideal     D     SI1   60.8   57.0   2757  5.75  5.76  3.50
53936   0.72       Good     D     SI1   63.1   55.0   2757  5.69  5.75  3.61
53937   0.70  Very Good     D     SI1   62.8   60.0   2757  5.66  5.68  3.56
53938   0.86    Premium     H     SI2   61.0   58.0   2757  6.15  6.12  3.74
53939   0.75      Ideal     D     SI2   62.2   55.0   2757  5.83  5.87  3.64

[53940 rows x 10 columns]

Color 데이터를 확인해보자.

diamonds['color'].value_counts()

G    11292
E     9797
F     9542
H     8304
D     6775
I     5422
J     2808
Name: color, dtype: int64

color 데이터 값 변경하기

D, E, F는 A로 바꿉니다.
G, H는 B로 바꿉니다.
I, J는 C로 바꿉니다.

Without Dictionary

먼저 첫번째 방법입니다.

import time 

start_time = time.time()
diamonds['color'].replace('D', 'A', inplace=True)
diamonds['color'].replace('E', 'A', inplace=True)
diamonds['color'].replace('F', 'A', inplace=True)
diamonds['color'].replace('G', 'B', inplace=True)
diamonds['color'].replace('H', 'B', inplace=True)
diamonds['color'].replace('I', 'C', inplace=True)
diamonds['color'].replace('J', 'C', inplace=True)

print("Time using .replace() only: {} sec".format(time.time() - start_time))
print("---")
print(diamonds['color'].value_counts())

Time using .replace() only: 0.025814056396484375 sec
---
A    26114
B    19596
C     8230
Name: color, dtype: int64

With Dictionary

이번에는 Dictionary를 활용합니다.

diamonds = sns.load_dataset('diamonds')

start_time = time.time()
diamonds.replace({'color': {'D':'A', 'E':'A', 'F':'A', 'G':'B', 'H':'B', 'I':'C', 'J':'C'}}, inplace=True)

print("Time using .replace() only: {} sec".format(time.time() - start_time))
print("---")
print(diamonds['color'].value_counts())

Time using .replace() only: 0.005134105682373047 sec
---
A    26114
B    19596
C     8230
Name: color, dtype: int64

동일한 결괏값이 나왔지만, 속도 차이가 0.02초 vs 0.005초 차이로 매우 큼을 확인할 수 있다.
즉, 값을 변경한다면, Dictionary를 사용한다.

[MLOps] Weight & Biases 소개 및 사용 방법

Sat, 29 May 2021 09:30:47 +0900

인프런 강의

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

1줄 요약

wandb로 MLOps를 배워봅니다.

References

Weight & Biases(wandb) 사용법(wandb 설치 및 설명) by greeksharifa

초기 설정

싸이트: https://wandb.ai/site

Pandas 속도 비교 - loc vs replace(2)

Thu, 20 May 2021 00:10:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

1줄 요약

값을 변경할 때에는 .replace 메서드를 사용합니다.

개요

Replace 속도를 측정해보자.
이번에는 multiple 값을 변경하는 방법에 대해 알아봅니다.

비교 1 `.loc` vs `.replace`

값을 바꾸는 방법은 다음과 같다.
- data['column'].loc[data['column'] == 'Old Value'] = 'New Value'

import pandas as pd
import seaborn as sns
diamonds = sns.load_dataset('diamonds')
print(diamonds)

       carat        cut color clarity  depth  table  price     x     y     z
0       0.23      Ideal     E     SI2   61.5   55.0    326  3.95  3.98  2.43
1       0.21    Premium     E     SI1   59.8   61.0    326  3.89  3.84  2.31
2       0.23       Good     E     VS1   56.9   65.0    327  4.05  4.07  2.31
3       0.29    Premium     I     VS2   62.4   58.0    334  4.20  4.23  2.63
4       0.31       Good     J     SI2   63.3   58.0    335  4.34  4.35  2.75
...      ...        ...   ...     ...    ...    ...    ...   ...   ...   ...
53935   0.72      Ideal     D     SI1   60.8   57.0   2757  5.75  5.76  3.50
53936   0.72       Good     D     SI1   63.1   55.0   2757  5.69  5.75  3.61
53937   0.70  Very Good     D     SI1   62.8   60.0   2757  5.66  5.68  3.56
53938   0.86    Premium     H     SI2   61.0   58.0   2757  6.15  6.12  3.74
53939   0.75      Ideal     D     SI2   62.2   55.0   2757  5.83  5.87  3.64

[53940 rows x 10 columns]

diamonds.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 53940 entries, 0 to 53939
Data columns (total 10 columns):
 #   Column   Non-Null Count  Dtype   
---  ------   --------------  -----   
 0   carat    53940 non-null  float64 
 1   cut      53940 non-null  category
 2   color    53940 non-null  category
 3   clarity  53940 non-null  category
 4   depth    53940 non-null  float64 
 5   table    53940 non-null  float64 
 6   price    53940 non-null  int64   
 7   x        53940 non-null  float64 
 8   y        53940 non-null  float64 
 9   z        53940 non-null  float64 
dtypes: category(3), float64(6), int64(1)
memory usage: 3.0 MB

비교 2. `.loc` vs `.replace`

cut Column에 있는 값 중, Premium과 Ideal 모두 Best로 변경합니다.

import time

diamonds = sns.load_dataset('diamonds')
diamonds['cut'] = diamonds['cut'].astype('object')

start_time = time.time()
diamonds['cut'].loc[(diamonds['cut'] == 'Premium') | (diamonds['cut'] == 'Ideal')] = 'Best'
print('Time using .loc[]: {} sec'.format(time.time() - start_time))
print(diamonds)

Time using .loc[]: 0.008001089096069336 sec
       carat        cut color clarity  depth  table  price     x     y     z
0       0.23       Best     E     SI2   61.5   55.0    326  3.95  3.98  2.43
1       0.21       Best     E     SI1   59.8   61.0    326  3.89  3.84  2.31
2       0.23       Good     E     VS1   56.9   65.0    327  4.05  4.07  2.31
3       0.29       Best     I     VS2   62.4   58.0    334  4.20  4.23  2.63
4       0.31       Good     J     SI2   63.3   58.0    335  4.34  4.35  2.75
...      ...        ...   ...     ...    ...    ...    ...   ...   ...   ...
53935   0.72       Best     D     SI1   60.8   57.0   2757  5.75  5.76  3.50
53936   0.72       Good     D     SI1   63.1   55.0   2757  5.69  5.75  3.61
53937   0.70  Very Good     D     SI1   62.8   60.0   2757  5.66  5.68  3.56
53938   0.86       Best     H     SI2   61.0   58.0   2757  6.15  6.12  3.74
53939   0.75       Best     D     SI2   62.2   55.0   2757  5.83  5.87  3.64

[53940 rows x 10 columns]


/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/core/indexing.py:1636: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  self._setitem_single_block(indexer, value, name)

이번에는 replace 메서드를 사용해본다.
- data['column'].replace('old value', 'new value', inplace = True

diamonds = sns.load_dataset('diamonds')

start_time = time.time()
diamonds.replace(['Premium', 'Ideal'], 'Best', inplace=True)
print('Time using replace(): {} sec'.format(time.time() - start_time))

Time using replace(): 0.0011608600616455078 sec

기존 코드에서, Good과 Very Good을 Low로 변경코드를 추가합니다.

diamonds = sns.load_dataset('diamonds')
diamonds['cut'] = diamonds['cut'].astype('object')

start_time = time.time()
diamonds['cut'].loc[(diamonds['cut'] == 'Premium') | \
                    (diamonds['cut'] == 'Ideal')] = 'Best'
diamonds['cut'].loc[(diamonds['cut'] == 'Very Good') | \
                    (diamonds['cut'] == 'Good')] = 'Low'
print('Time using .loc[]: {} sec'.format(time.time() - start_time))
print(diamonds)

Time using .loc[]: 0.013423681259155273 sec
       carat   cut color clarity  depth  table  price     x     y     z
0       0.23  Best     E     SI2   61.5   55.0    326  3.95  3.98  2.43
1       0.21  Best     E     SI1   59.8   61.0    326  3.89  3.84  2.31
2       0.23   Low     E     VS1   56.9   65.0    327  4.05  4.07  2.31
3       0.29  Best     I     VS2   62.4   58.0    334  4.20  4.23  2.63
4       0.31   Low     J     SI2   63.3   58.0    335  4.34  4.35  2.75
...      ...   ...   ...     ...    ...    ...    ...   ...   ...   ...
53935   0.72  Best     D     SI1   60.8   57.0   2757  5.75  5.76  3.50
53936   0.72   Low     D     SI1   63.1   55.0   2757  5.69  5.75  3.61
53937   0.70   Low     D     SI1   62.8   60.0   2757  5.66  5.68  3.56
53938   0.86  Best     H     SI2   61.0   58.0   2757  6.15  6.12  3.74
53939   0.75  Best     D     SI2   62.2   55.0   2757  5.83  5.87  3.64

[53940 rows x 10 columns]


/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/core/indexing.py:1636: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  self._setitem_single_block(indexer, value, name)

diamonds = sns.load_dataset('diamonds')

start_time = time.time()
diamonds.replace([['Premium', 'Ideal'], ['Very Good', 'Good']], ['Best', 'Low'], inplace=True)
print('Time using replace(): {} sec'.format(time.time() - start_time)) 
print(diamonds)

Time using replace(): 0.002335071563720703 sec
       carat   cut color clarity  depth  table  price     x     y     z
0       0.23  Best     E     SI2   61.5   55.0    326  3.95  3.98  2.43
1       0.21  Best     E     SI1   59.8   61.0    326  3.89  3.84  2.31
2       0.23   Low     E     VS1   56.9   65.0    327  4.05  4.07  2.31
3       0.29  Best     I     VS2   62.4   58.0    334  4.20  4.23  2.63
4       0.31   Low     J     SI2   63.3   58.0    335  4.34  4.35  2.75
...      ...   ...   ...     ...    ...    ...    ...   ...   ...   ...
53935   0.72  Best     D     SI1   60.8   57.0   2757  5.75  5.76  3.50
53936   0.72   Low     D     SI1   63.1   55.0   2757  5.69  5.75  3.61
53937   0.70   Low     D     SI1   62.8   60.0   2757  5.66  5.68  3.56
53938   0.86  Best     H     SI2   61.0   58.0   2757  6.15  6.12  3.74
53939   0.75  Best     D     SI2   62.2   55.0   2757  5.83  5.87  3.64

[53940 rows x 10 columns]

Pandas 속도 비교 - loc vs replace

Sat, 15 May 2021 20:36:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

개요

loc and Replace 속도를 비교 측정해본다..

방법 1. `.loc` vs `.replace`

값을 바꾸는 방법은 다음과 같다.
- data['column'].loc[data['column'] == 'Old Value'] = 'New Value'

import pandas as pd
import seaborn as sns
diamonds = sns.load_dataset('diamonds')
print(diamonds)

       carat        cut color clarity  depth  table  price     x     y     z
0       0.23      Ideal     E     SI2   61.5   55.0    326  3.95  3.98  2.43
1       0.21    Premium     E     SI1   59.8   61.0    326  3.89  3.84  2.31
2       0.23       Good     E     VS1   56.9   65.0    327  4.05  4.07  2.31
3       0.29    Premium     I     VS2   62.4   58.0    334  4.20  4.23  2.63
4       0.31       Good     J     SI2   63.3   58.0    335  4.34  4.35  2.75
...      ...        ...   ...     ...    ...    ...    ...   ...   ...   ...
53935   0.72      Ideal     D     SI1   60.8   57.0   2757  5.75  5.76  3.50
53936   0.72       Good     D     SI1   63.1   55.0   2757  5.69  5.75  3.61
53937   0.70  Very Good     D     SI1   62.8   60.0   2757  5.66  5.68  3.56
53938   0.86    Premium     H     SI2   61.0   58.0   2757  6.15  6.12  3.74
53939   0.75      Ideal     D     SI2   62.2   55.0   2757  5.83  5.87  3.64

[53940 rows x 10 columns]

cut Column에 있는 값 중, Premium을 Best로 바꿔보도록 한다.

import time
start_time = time.time()

diamonds['cut'].loc[diamonds['cut'] == 'Premium'] == 'Best'
print('Time using .loc[]: {} sec'.format(time.time() - start_time))

Time using .loc[]: 0.0020329952239990234 sec

이번에는 replace 메서드를 사용해본다.
- data['column'].replace('old value', 'new value', inplace = True

diamonds = sns.load_dataset('diamonds')

start_time = time.time()
diamonds.replace('Premium', 'Best', inplace=True)
print('Time using replace(): {} sec'.format(time.time() - start_time))

Time using replace(): 0.00027108192443847656 sec

Pandas 속도 비교 - iloc and loc

Wed, 12 May 2021 20:36:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

1줄 요약

.loc[]와 .iloc[] 인덱스의 속도 차이를 측정해본다.

개요

시간이 허락한다면, Pandas 속도를 비교하는 게시글을 자주 작성하려고 한다.
- Pandas가 상대적으로 속도가 느리기 때문에, 조금 더 효율적인 코드를 작성하는 쪽에 초점을 맞춰본다.
.loc[] : index name locator를 의미한다.
iloc[] : index number locator를 의미한다.

행 선택시 속도 비교

먼저 행을 선택할 때의 속도 차이를 확인하도록 합니다.

import pandas as pd
import time
import seaborn as sns

diamonds = sns.load_dataset("diamonds")
diamonds.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 53940 entries, 0 to 53939
Data columns (total 10 columns):
 #   Column   Non-Null Count  Dtype   
---  ------   --------------  -----   
 0   carat    53940 non-null  float64 
 1   cut      53940 non-null  category
 2   color    53940 non-null  category
 3   clarity  53940 non-null  category
 4   depth    53940 non-null  float64 
 5   table    53940 non-null  float64 
 6   price    53940 non-null  int64   
 7   x        53940 non-null  float64 
 8   y        53940 non-null  float64 
 9   z        53940 non-null  float64 
dtypes: category(3), float64(6), int64(1)
memory usage: 3.0 MB

먼저 .loc 속도 측정을 해봅니다.

row_nums = range(0, 10000)

start_time = time.time()
rows = diamonds.loc[row_nums]
end_time = time.time()

print("Time using .loc[]: {} sec".format(end_time - start_time))

Time using .loc[]: 0.0029916763305664062 sec

이번에는 동일하게 .iloc를 적용해봅니다.

start_time = time.time()
rows = diamonds.iloc[row_nums]
end_time = time.time()

print("Time using .iloc[]: {} sec".format(end_time - start_time))

Time using .iloc[]: 0.001990079879760742 sec

열 선택시 속도 비교

이번에는 iloc를 활용하여 열을 선택합니다.

iloc_start_time = time.time()
cols = diamonds.iloc[:, [0, 2, 4, 6, 8]]
iloc_end_time = time.time()

print("Time using .iloc[]: {} sec".format(iloc_end_time - iloc_start_time))

Time using .iloc[]: 0.0009975433349609375 sec

이번에는 Column명을 입력해서 추출하도록 합니다.

name_start_time = time.time()
cols = diamonds[['carat', 'color', 'depth', 'price', 'y']]
name_end_time = time.time()

print("Time using selection by name : {} sec".format(name_end_time - name_start_time))

Time using selection by name : 0.000997304916381836 sec

Reference

Fast, Flexible, Easy and Intuitive: How to Speed Up Your Pandas Projects Retrieved from https://realpython.com/fast-flexible-pandas/

[Python] PyCaret Windows 10 아나콘다 설치 방법

Tue, 11 May 2021 00:30:47 +0900

강의 홍보

취준생을 위한 강의를 제작하였습니다.
본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
- 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
[비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

1줄 요약

관리자 실행해서 아나콘다 가상 환경을 만든 후, 새로운 패키지를 설치한다.

PyCaret 설치 방법 (Windows 10)

윈도우 10 환경에서 PyCaret 패키지를 설치해봅니다.
아나콘다 설치에 관한 내용은 생략합니다. 다만, 이 때, 필요한 것은 환경변수에 추가가 되어 있어야 합니다.

가상환경 설정

새로운 가상환경을 만듭니다. (이게 제일 편합니다.)
명령프롬프트를 관리자로 실행합니다.

Programmings on Data Science | DSChloe

빅데이터 분석기사 실기 (Python)

과정 개요

과정 정보

학습 목표

커리큘럼

1단계: 작업형 1유형 - 데이터 전처리

2단계: 작업형 2유형 - 머신러닝 모델링

3단계: 작업형 3유형 - 통계 분석

실습 환경

ADsP 회귀분석 상호작용 예시

회귀분석 상호작용 예시

라이브러리 가져오기

Tips 데이터 가져오기

상호작용이 없는 모델 만들기

계수 해석

모델 시각화

관측점 + 집단별 loess/선형선(간단)

Open AI와 앤트로픽 API 키 발급받기

Open AI 사이트 확인

Logstash 실행 및 확인 - 기본예제

개요

사전준비

Logstash의 역할

데이터 수집

데이터 변환 및 처리 (Processing / Filtering)

Elasticsearch - Transformers 임베딩 입력 저장 (Local Mode)

개요

코드 전체 시나리오

Elasticsearch 클라이언트 연결

Mapping 정의 및 인덱스 생성

기존 인덱스 삭제 후 새로 생성

색인할 문서 데이터 구성

BERT 모델과 토크나이저 초기화

BERT 임베딩 생성

Elasticsearch에 색인

확인

엘라스틱 클라우드에 데이터 추가하기 - 예제 (2025, 06)

CH03 - 데이터 추가

개요

이전 예제 확인

파이썬 코드

엘라스틱 서치 시작하기 - 예제 (2025, 06)

개요

회원가입

설치 및 예제 확인

Windows 10

BigQuery 데이터 입출력 From Local TO BigQuery

개요

GCP 서비스 계정 추가

서비스 키 다운로드

GCP VM Connect to BigQuery using Streamlit (ver. 2025, 06)

개요

VM 머신 생성

머신 구성

OS 및 스토리지

AWS EC2 Connect to S3, Streamlit Web (2025 june)

개요

회원가입

IAM user sign in

Airflow 활용한 DB Insert 예제 (M1, MacOS)

개요

시나리오

환경설정

파이썬 설치

프로젝트 초기화

Airflow 설치

셸 스크립트 작성 및 실행

MySQL, PostgreSQL 설정확인

MySQL 설정

PostgreSQL 설정

최종 결과 예시

Airflow 활용한 API 크롤링 및 이미지 다운로드 (M1, MacOS)

개요

개발환경설정

uv 설치

가상환경 설정

AIRFLOW_HOME 환경변수 지정

설치 스크립트 작성

API 확인 및 테스트

`.bashrc` 파일 설정