WSL2

VSCode 설치

• 우선 VSCode를 설치한다.
  • URL : https://code.visualstudio.com/download
• 이 때, 관리자로 실행할 것이기 때문에 System Installer를 다운로드 받는다.

• 설치 시, 환경변수 체크란만 잘 확인한다.

• 설치가 다 끝난 후에는 재부팅을 실시한다.

Remote WSL 연동

• Extension 버튼을 클릭한다.

• 검색창에서 Remote WSL을 검색 후, 설치를 진행한다.

• 모두 클릭 후, Mark Done을 선택한다.

• Open Folder를 클릭한다.

• WSL에서 설치했던 airflow-test 폴더를 선택한다.

• 해당 프로젝트를 열도록 한다.

• 메뉴바에 Terminal을 선택 후, 화면 하단에서 WSL이 있는지 확인한다.

개요

• 윈도우에서 NiFi를 설치해본다.
• NiFi를 설치하기 위해서는 자바 설치가 필요하다.

Step 01. NiFi 다운로드

• 먼저 웹사이트에 접속한다.
  • URL : https://www.apache.org/dyn/closer.lua?path=/nifi/1.16.0/nifi-1.16.0-bin.zip

/img/programming/2022/04/apache_nifi_installation_windows/apache_nifi_installation_windows

• 가장 먼저 나오는 링크를 클릭한다.
  • URL : https://dlcdn.apache.org/nifi/1.16.0/nifi-1.16.0-bin.zip
• 다운로드 받은 파일의 압축을 풀도록 한다.

Step 02. Java 환경 설정

• Java 설치 내용은 아래 블로그를 참조한다.
• 참고자료 : https://maktony.tistory.com/13

Step 03. run-nifi 배치 파일 실행

• run-nifi 배치파일을 관리자 권한으로 실행한다.

• 아래와 같은 메시지가 출력이 되면 성공한 것이다.

Step 04. Web UI 확인

• (약 1분이 지난 후) Web UI를 확인해본다.
  • https://127.0.0.1:8443/nifi/login

개요

• Windows WSL2에서 airflow를 설치한다.

Step 1. Install pip on WSL

• airflow를 설치하기 위해 pip를 설치한다.

$ sudo apt install python3-pip
[sudo] password for username:

Step 2. Install virtualenv package

• virtualenv 라이브러리를 설치한다.

$ sudo pip3 install virtualenv

Step 3. Create a virtual environment

• C드라이브에 airflow-test 폴더를 생성한다.
  • 해당 디렉터리로 이동한다.
• 이제 가상환경을 생성한다.

$ virtualenv venv

• 가상환경에 접속을 한다.

$ source venv/bin/activate

• 이번에는 .bashrc 파일을 수정한다.

$ vi ~/.bashrc

• 파일을 연 후, 다음과 같은 코드를 추가한다.

export AIRFLOW_HOME=/mnt/c/airflow-test

• 파일을 닫을 때는 ESC → :wq 순서대로 작성한다.
• 수정된 코드를 업데이트 하기 위해서는 아래와 같이 반영한다.

$ source ~/.bashrc

• 실제로 코드가 반영되었는지 확인하기 위해서는 다음과 같이 확인해본다.

echo $AIRFLOW_HOME
/mnt/c/airflow-test

Step 4. Apache Airflow 설치

• PostgreSQL, Slack, Celery 패키지를 동시에 설치하는 코드를 작성한다.

$ pip3 install 'apache-airflow[postgres, slack, celery]'

• 에어플로 실행 위해 DB 초기화를 해줘야 한다.

$ airflow db init

• 실제로 잘 구현이 되었는지 확인하기 위해 webserver를 실행한다.

$ airflow webserver -p 8081

• 다음으로 일정 주기로 데이터 흐름이 실행되게 하려면 Scheduler가 필요하다.

$ airflow scheduler

• 그리고, 해당 링크 http://localhost:8081/login/ 에 접속하면 아래와 같은 화면이 나타난다.

개요

• 주요 참고자료는 다음과 같다.
  • WSL2 설치 : https://www.lainyzine.com/ko/article/how-to-install-wsl2-and-use-linux-on-windows-10/#google_vignette
  • 도커 설치 : https://www.lainyzine.com/ko/article/a-complete-guide-to-how-to-install-docker-desktop-on-windows-10/

Step 1. WSL2 설치 과정

• Windows PowerShell 관리자로 실행 후 다음 명령어 입력

$ dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
$ dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

• 위 명령어 실행 후, 재부팅 필수
• x64 머신용 최신 WSL2 Linux 커널 업데이트 패키지를 다운로드 받아 안내에 따라 설치합니다.
• Windows Powershell 열고 아래 코드 실행

$ wsl --set-default-version 2
WSL 2와의 주요 차이점에 대한 자세한 내용은 https://aka.ms/wsl2를 참조하세요

Step 2l Docker Desktop 설치

1. 다음 페이지로 이동해서 Docker Desktop for Windows를 다운로드 받습니다.

• Docker Desktop for Mac and Windows | Docker