Airflow 활용한 DB Insert 예제 (M1, MacOS)

개요 MySQL과 PostgreSQL에 각각 테이블 생성 후 데이터 넣기 아래와 같이 병렬적으로 실행하는 예제 시나리오 테이블과 데이터를 추가하되 두 DB에 대한 접근 방식이 다름 MySQL은 직접적으로 넣기 PostgreSQL은 Airflow를 통해서 데이터 넣기 환경설정 사전에 MySQL과 PostgreSQL이 설치가 이미 되어 있음을 가정한다. 파이썬 설치 uv : https://docs.astral.sh/uv/getting-started/installation/ 프로젝트 초기화 프로젝트 디렉터리에서 다음과 순차적으로 실행 $ uv venv -p 3.11 $ source .venv/bin/activate Airflow 설치 먼저 환경변수를 설정한다. $ export AIRFLOW_HOME=$(pwd)/airflow 셸 스크립트 작성 및 실행 다음과 같이 셸 스크립트 작성 파일명 : install_airflow.

Airflow 활용한 API 크롤링 및 이미지 다운로드 (M1, MacOS)

개요 Airflow 활용해서 이미지 다운로드 받기 예제 개발환경설정 MacOS, M1 Python uv 개발환경 설정 uv 설치 공식 싸이트 확인 링크 : https://docs.astral.sh/uv/getting-started/installation/#installation-methods curl -LsSf https://astral.sh/uv/install.sh | sh 가상환경 설정 다음과 같이 설정, 프로젝트 초기화 (Python 3.11 지정) $ uv venv -p 3.11 $ source .venv/bin/activate Python 버전 확인 $ python --version AIRFLOW_HOME 환경변수 지정 airflow는 환경변수에 예민하다. 프로젝트 디렉터리 경로에서 다음과 같이 추가 $ export AIRFLOW_HOME=$(pwd)/airflow $ echo $AIRFLOW_HOME /Users/evan/Desktop/your/project/directory/airflow 설치 스크립트 작성 파일명 : install_airflow.

Windows 11 GPU 개발환경 설정 (ver. 2025.04)

개요 내 PC의 GPU 환경 확인 부터 딥러닝 설치까지, Windows 11 환경에서 진행 실패 없이 한번에 설치가 되었다! 내 PC의 GPU 환경 확인 시스템 > 디스플레이 > 고급 디스플레이에서 확인 장치 관리자에서 확인 작업 관리자 > 성능 탭에서 확인 현재 NVIDIA GeForce RTX 4060 그래픽 카드 사용중인 것 확인 NVIDIA Driver 설치 설치 링크 : https://www.nvidia.com/en-us/drivers/ GeForce Game Ready Driver 다운로 다운로드 받은 파일 관리자 권한으로 실행 후, 다음 그림에서 OK 버튼 클릭 동의 및 계속 버튼 클릭 다음 버튼 클릭 설치 중 설치 완료 다음 화면에서 Game Ready 드라이버 선택 다음 선택 완료 CUDA Toolkit 설치 CUDA 지원, 성능, 코어 수 확인 링크 확인 : https://www.

MSSQL Connect to Python (ver. 2025.04)

개요 SSMS에 계정 추가 계정 추가 후 Python 라이브러리 활용해서 연동 계정 추가 먼저 Security(보안) > Logins(로그인)에서 마우스 우클릭 진행 New Login 선택 다음 화면에서 Loing Name은 evan-tester2 명명, Password는 1234로 지정함 Default Database는 BikeStores로 지정함 Enforce password policy 체크 박스 해제 (테스트용) 왼쪽 메뉴에서 User Mapping 메뉴 선택 하단 옵션에서 db_datawriter 옵션 선택 왼쪽 메뉴에서 Server Roles 선택 dbcreator, public, sysadmin 선택 선택이 완료되었다면 OK 버튼 클릭 사용자 계정이 하나 생성된 것 확인 가능 데이터베이스 수준 역할 각 DB 수준의 역할은 공식문서 참조 : 데이터베이스 수준 역할 서버 인증 방식 변경 서버에서 마우스 우클릭 Security 선택 후, SQL Server and Windows Authentication Mode 선택 확인 후 SSMS 종료 후 재실행 SQL Server Configuration Manager 구성 아래와 같이 접속 TCP/IP 사용 SQL Server 네트워크 구성 선택 SQLEXPRESS에 대한 프로토콜 선택 후, TCP/IP 사용 변경 IP 주소, 포트 번호 지정 IPALL의 TCP 포트번호를 1433으로 지정한다.

Docker 활용한 django 예제

개요 Docker에서 django 개발환경 만들기 간단한 웹개발 실습 참고자료 한 권으로 배우는 도커 & 쿠버네티스 교재 구매 링크 : https://product.kyobobook.co.kr/detail/S000213057687 실습사전조건 가상환경으로 Ubuntu 24.04 LTS make : 소스코드를 컴파일할 때 사용하는 자동 빌드 도구이다. build-essential : C/C++ 컴파일에 필요한 기본 컴파일 도구 모음이다. libssl-dev : SSL/TLS 통신을 위한 OpenSSL 라이브러리 개발 헤더이다. zlib1g-dev : 압축 알고리즘용 zlib 라이브러리 개발 파일이다. libbz2-dev : bzip2 압축 알고리즘용 개발 라이브러리이다. libreadline-dev : 터미널에서 편리한 입력을 가능하게 하는 readline 개발 라이브러리이다.

VS Code에서 가상머신 접속

사전조건 사전에 가상 머신, VS Code는 설치가 되어 있다고 가정한다. 가상머신 네트워크 설정 Putty로 가상 머신 네트워크에 접속하는 방법 참고 : VS Code SSH 파일 설정 Extension에서 SSH 검색 후 Remote - SSH 선택 SSH Config 설정 F1 누르고 SSH 입력 메뉴들 중 Connect to Host 선택 Configure SSH Hosts 선택 .ssh\config 메뉴 선택 필자는 기존에 세팅한 옵션 확인 다음과 같이 설정 User는 가상환경 만들 때 작성했던 username이다. 즉 Computer 이름인 evan-master를 기재한다.

VirtualBox 네트워크 설정하기

개요 VirtualBox에서 네트워크 환경을 구축한다. Putty 프로그램을 통해 Windows 11에서 Ubuntu에 접속한다. VirtualBox 에서 네트워크 환경 구축 네트워크 관리자 선택 NAT 네트워크 탭 선택 만들기 버튼 클릭, DHCP 활성화 체크 된 상태 유지 가상환경 설정에서 네트워크 선택 (어댑터 1 선택) 가상환경 재 실행 및 포트번호 확인 inet 10.0.2.15 번호는 사용자 환경에 따라 다를 수 있음 $ ifconfig enp0s3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 10.0.2.15 netmask 255.255.255.0 broadcast 10.0.2.255 inet6 fe80::a00:27ff:fecb:782d prefixlen 64 scopeid 0x20<link> ether 08:00:27:cb:78:2d txqueuelen 1000 (Ethernet) RX packets 14 bytes 3218 (3.

VirtualBox Ubuntu Desktop 24.04 설치

개요 VirtualBox에서 Ubuntu Desktop 설치 윈도우-리눅스 양방햔 간 복사-붙여넣기 구현 VirtualBox Extension Pack 다운로드 VirtualBox Extension Pack : https://www.virtualbox.org/wiki/Downloads 설치 시 VirtualBox 버전과 호환되어야 함 Ubuntu Desktop 설치파일 다운로드 Ubuntu Desktop ISO : https://ubuntu.com/download/desktop VirtualBox 가상머신 만들기 확장 패키지 추가 도구 > 확장 패키지 관리자 선택 설치파일 불러오기 패키지 설치가 완료가 되면 다음과 같은 화면 확인 가상 머신 만들기 머신 > 새로 만들기 선택 ISO 이미지는 선택하지 않은 상태에서 이름 지정 이름 : master-server 종류와 Subtype, 버전은 Ubuntu 기반으로 확인 다음과 같은 화면에서 설정 클릭 일반-고급(A) 선택 후 클립보드 공유 및 드래그 앤 드롭 모두 양방향으로 선택 후 확인 시스템 선택 후 마더보드 8192MB 으로 변경 시스템 선택 후 프로세서 6으로 변경 다시 설정 클릭 후 디스플레이 선택 : 비디오 메모리 128 MB 저장소 선택 후 컨트롤러 IDE 선택-비어 있음 선택 후 부팅디스크 이미지 가져오기 다른 메뉴들은 눌러서 활성화 되어 있는지 확인 (다른 옵션에 대한 설명은 생략) 가상 머신 설치 시작 시작 버튼 클릭 가상 머신이 들어가면 새로운 창 활성화됨 화면 조정할 때 주요 단축키 참고 HOST : Ctrl + Alt 동시에 누르기 부팅디스크 로고 선택 (가끔 안 나올 때도 있음) 중요한 사항이 아니면 이미지만 확인 여기선 체크하지 않는다.

Oracle 19c Installation Using Docker on M1

개요 Docker 활용해서 Oracle 설치하기 on M1 SQL Developer 활용해서 접속 및 테스트하기 사전조건 Docker가 이미 설치가 되어 있다고 가정한다. Oracle Database 설치 순서 Step 01 : 도커 이미지 가져오기 Clone Oracle’s Docker Images Repository, Open your terminal and run git clone https://github.com/oracle/docker-images Step 02 : Oracle Database 19c 파일 다운로드 Download Oracle Database 19c for Linux ARM 링크 : https://www.oracle.com/database/technologies/oracle19c-linux-arm64-downloads.html (회원가입 필요) 다운로드, LINUX.ARM64_1919000_db_home.zip 해당 파일을 docker-images/OracleDatabase/SingleInstance/dockerfiles/19.3.0 디렉토리에 위치 시킴 Step 03 : 도커 이미지 빌드 Build the Docker Image, Navigate to the dockerfiles directory 터미널로 경로 이동한다.

PostgreSQL 설치 on Windows 11 (2025)

PostgreSQL 설치파일 다운로드 PostreSQL 설치 : https://www.postgresql.org/download/windows/ Download the installer 확인 설치 설치파일 실행 (관리자 권한) password는 evan1234 포트번호 확인 프로그램 검색 창에서 pgAdmin 4 프로그램 열기 실행되는지 확인 환경변수 설정 경로 복사 시스템 환경 변수 열기 후 복사하기 C:\Program Files\PostgreSQL\17\bin CMD나 PowerShell에서 확인 C:\Users\campus3S043>psql --version psql (PostgreSQL) 17.4