개요 MySQL과 PostgreSQL에 각각 테이블 생성 후 데이터 넣기 아래와 같이 병렬적으로 실행하는 예제 시나리오 테이블과 데이터를 추가하되 두 DB에 대한 접근 방식이 다름 MySQL은 직접적으로 넣기 PostgreSQL은 Airflow를 통해서 데이터 넣기 환경설정 사전에 MySQL과 PostgreSQL이 설치가 이미 되어 있음을 가정한다. 파이썬 설치 uv : https://docs.astral.sh/uv/getting-started/installation/ 프로젝트 초기화 프로젝트 디렉터리에서 다음과 순차적으로 실행 $ uv venv -p 3.11 $ source .venv/bin/activate Airflow 설치 먼저 환경변수를 설정한다. $ export AIRFLOW_HOME=$(pwd)/airflow 셸 스크립트 작성 및 실행 다음과 같이 셸 스크립트 작성 파일명 : install_airflow.
개요 Airflow 활용해서 이미지 다운로드 받기 예제 개발환경설정 MacOS, M1 Python uv 개발환경 설정 uv 설치 공식 싸이트 확인 링크 : https://docs.astral.sh/uv/getting-started/installation/#installation-methods curl -LsSf https://astral.sh/uv/install.sh | sh 가상환경 설정 다음과 같이 설정, 프로젝트 초기화 (Python 3.11 지정) $ uv venv -p 3.11 $ source .venv/bin/activate Python 버전 확인 $ python --version AIRFLOW_HOME 환경변수 지정 airflow는 환경변수에 예민하다. 프로젝트 디렉터리 경로에서 다음과 같이 추가 $ export AIRFLOW_HOME=$(pwd)/airflow $ echo $AIRFLOW_HOME /Users/evan/Desktop/your/project/directory/airflow 설치 스크립트 작성 파일명 : install_airflow.
개요 requirements.txt 파일에 명시된 패키지들의 설치 여부와 버전을 확인하는 코드 각 패키지에 대해 현재 환경에 설치된 버전을 출력하며, 설치되지 않은 경우 메시지 표시 예시 requirements.txt 파일에 다음과 같은 패키지가 있다고 가정한다. 또한 가상 환경에 이미 아래 라이브러리가 설치가 되어 있다고 가정한다. polars pandas numpy matplotlib seaborn scikit-learn graphviz statsmodels jupyterlab pyarrow deltalake xlsx2csv xlsxwriter openpyxl xlrd 먼저 설치된 라이브러리 전체 개수를 확인한다. import pkg_resources # 현재 환경에 설치된 모든 패키지 목록과 버전 조회 installed_packages = [f"{dist.
개요 LangChain의 기본 개념에 대해 살펴본다. LangChain을 활용하며 간단한 웹앱을 구현한다. 각 사용자가 본인의 API를 입력하면 해당 기능을 사용할 수 있도록 구현한다. LangChain의 기본개념 LangChain은 대규모 언어 모델(LLM)을 활용한 애플리케이션 개발을 위한 프레임워크입니다. 주요 특징과 장점은 다음과 같다. 모듈성 다양한 LLM과 도구들을 쉽게 통합하고 교체할 수 있다. 재사용 가능한 컴포넌트를 제공한다. 체이닝(Chaining) 여러 컴포넌트를 연결하여 복잡한 워크플로우를 구성할 수 있다. 프롬프트, LLM 호출, 출력 파싱 등을 순차적으로 처리한다 메모리 관리 대화 기록을 저장하고 관리할 수 있다.
개요 2023년 12월 이후의 최신 행정구역(SHP) 데이터 다운로드 방법 변경 사이트 : http://www.gisdeveloper.co.kr/?p=2332 지오서비스웹(GEOSERVICE-WEB)의 아카이브 통해서 다운로드 관련 영상 원하는 지역에 대한 최신 행정구역 데이터(SHP 파일) 추출해서 다운로드 받기 위한 내용 상세히 설명한 영상 (링크 : https://www.youtube.com/watch?v=1vkI5tmIlgI) https://www.youtube.com/watch?v=1vkI5tmIlgI
회원가입 - 지오서비스웹(GEOSERVICE-WEB) 사이트 : https://www.geoservice.co.kr/ 회원가입 서비스 계정 약관 닉네임 / 실명 입력 닉네임 : jjh430 실명 : 정지훈 비밀번호 입력 : tkfkdgo486! 이메일 / 휴대폰 입력 인증코드 확인 본인 인증 완료 및 로그인 GEOSERVICE 화면 메인 화면은 아래와 같음 원하는 지역 최신 행정구역 데이터 추출 왼쪽 상단의 아카이브 선택 검색창에 ‘gizmo’ 입력 최신행정구역도 선택 여기에서 시군구만 선택해서 다운로드 무제한 다운로드를 방지하기 위해 지오코인 제도를 도입함 QGIS 설치 지도 경계 작업을 수행할 QGIS 파일을 다운로드 받는다.
개요 개발환경설정이 어려운 환경에서 Google Colab 상에서 Streamlit 설치 및 실행을 익히고자 한다. 주로 강의 목적으로 사용하기를 바란다. Streamlit 라이브러리 설치 아래 코드를 활용하여 streamlit 라이브러리 설치 !pip install -q streamlit Streamlit 코드 작성 샘플 아래와 같이 코드를 작성 후, app.py로 내보내기를 한다. magics from Jupyter : [Jupyter’s magics page](https://nbviewer.org/github/ipython/ipython/blob/1.x/examples/notebooks/Cell Magics.ipynb) %%writefile app.py import streamlit as st import plotly.graph_objs as go from plotly.subplots import make_subplots import seaborn as sns @st.cache_data def load_data(): df = sns.
개요 django-web을 GCE에 설치 및 배포를 간단하게 진행하도록 한다. 사전준비 Google Cloud Platform 회원가입은 미리 진행했고, GCE 인스턴스를 생성할 줄 아는 상태임을 전제로 한다. Miniconda 설치가 끝난 상황임을 가정한다. Miniconda Linux 설치 : https://docs.anaconda.com/free/miniconda/ Miniconda 설치 mkdir -p ~/miniconda3 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 rm -rf ~/miniconda3/miniconda.sh 설치 후, 새로 설치한 미니콘다를 초기화합니다. 다음 명령은 bash 및 zsh 셸을 초기화 ~/miniconda3/bin/conda init bash ~/miniconda3/bin/conda init zsh django on GCE GCE Shell에서 django를 설치한다.
강의소개 인프런에서 Streamlit 관련 강의를 진행하고 있습니다. 인프런 : https://inf.run/YPniH 개요 현재 러닝 스파크 교재를 배우고 있다. 해당 교재는 주로 00.py에서 실행하는 방법으로 안내하고 있지만, Google Colab에서 어떻게 변환하는지 확인해보고자 한다. Spark 설정 Spark 설치 버전은 아래 링크에서 확인한다. 주소 : https://spark.apache.org/downloads.html Download 버튼을 클릭하면 아래와 같은 화면이 나온다. 주소를 복사한다. https://dlcdn.apache.org/spark/spark-3.5.1/spark-3.5.1-bin-hadoop3.tgz Java 설치 아래 코드를 실행한다. !apt-get install openjdk-8-jdk-headless Spark 설치 아래 코드를 실행한다. !wget -q https://dlcdn.apache.org/spark/spark-3.5.1/spark-3.5.1-bin-hadoop3.tgz !tar -zxf spark-3.
개요 Python Script를 활용하여 Hell World를 출력한다. 강의소개 인프런에서 Streamlit 관련 강의를 진행하고 있습니다. 인프런 : https://inf.run/YPniH 이전 게시글 링크 확인 : Github Actions Hello World main.py 작성 간단하게 아래 코드를 작성한다. 코드 작성은 Github에서도 가능하다. import sys print(sys.version) print("Hello, World") Add file > Create new file 버튼을 클릭한다. Python-hello.yml 파일 변경 기존 코드에서 다음 코드를 추가한다. # This is a basic workflow to help you get started with Actions name: Python-CI .
개요 Github Actions 에서 Hello World를 출력하도록 한다. 강의소개 인프런에서 Streamlit 관련 강의를 진행하고 있습니다. 인프런 : https://inf.run/YPniH 사전준비 Github에 적당한 Repo를 준비한다. 메뉴선택 아래 그림에서 Actions 메뉴를 선택한다. 아래 그림에서 set up a workflow yourself 선택 YAML 파일 수정 .github/workflows/main.yaml 파일 선택 후 수정 소스코드는 다음과 같이 지정한다. # This is a basic workflow to help you get started with Actions name: CI # Controls when the workflow will run on: # Triggers the workflow on push or pull request events but only for the "main" branch push: branches: [ "main" ] pull_request: branches: [ "main" ] # Allows you to run this workflow manually from the Actions tab workflow_dispatch: # A workflow run is made up of one or more jobs that can run sequentially or in parallel jobs: # This workflow contains a single job called "build" build: # The type of runner that the job will run on runs-on: ubuntu-latest # Steps represent a sequence of tasks that will be executed as part of the job steps: # Checks-out your repository under $GITHUB_WORKSPACE, so your job can access it - uses: actions/checkout@v3 # Runs a single command using the runners shell - name: Run a one-line script run: echo Hello, world!