NiFi

Apache NiFi 설치와 설정 in WSL2

Programming, Windows, WSL2

설치

  1. wsl2에서 JAVA 설치 한다.
$ sudo apt-get update && sudo apt-get upgrade
$ sudo apt install openjdk-11-jre-headless
$ vi ~/.bash_profile
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
  1. curl을 이용해서 NiFi를 현재 경로에 내려받는다.
$ sudo wget https://downloads.apache.org/nifi/1.16.0/nifi-1.16.0-bin.tar.gz
  1. .tar.gz 파일의 압축을 푼다.
$ sudo tar xvzf nifi-1.16.0-bin.tar.gz
  1. 압축파일을 푼 다음에는 cd nifi-1.16.0 폴더에 접속을 한다.
$ cd nifi-1.16.0/bin
  1. ls를 실행해서 nifi-env.sh 파일이 있는지 확인하고 있다면, vi 에디터로 연다.
    1. .bash_profile에서 한 것처럼 동일하게 자바 환경변수를 잡아준다.
$ sudo vi nifi-env.sh
export JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"
  1. 그리고, nifi-env.sh 파일을 실행한다.
$ sudo ./nifi.sh start

Java home: /usr/lib/jvm/java-11-openjdk-amd64
NiFi home: /nifi-1.16.0

Bootstrap Config File: /nifi-1.16.0/conf/bootstrap.conf
  1. webserver 주소를 확인한다.
/nifi-1.16.0/conf$ cd .. 
/nifi-1.16.0/conf$ vi nifi.properties

Untitled

Read more…

Setting up Apache-NiFi in Windows 10

Programming, Windows, WSL2

개요

  • 윈도우에서 NiFi를 설치해본다.
  • NiFi를 설치하기 위해서는 자바 설치가 필요하다.

Step 01. NiFi 다운로드

/img/programming/2022/04/apache_nifi_installation_windows/apache_nifi_installation_windows

Untitled

Step 02. Java 환경 설정

Step 03. run-nifi 배치 파일 실행

  • run-nifi 배치파일을 관리자 권한으로 실행한다.

Untitled

  • 아래와 같은 메시지가 출력이 되면 성공한 것이다.

Untitled

Step 04. Web UI 확인

Untitled

Read more…

Apache NiFi Installation

Programming, NiFi, Data Engineering, Python

강의 홍보

개요

  • 데이터 엔지니어링에 필요한 기본적인 인프라를 설치 진행하는 튜토리얼을 만들었다.
  • 기본적으로 교재에 충실하지만, 약 1년전에 쓰인 책이라, 최신 버전으로 업그레이드 하였다.

Apache NiFi 설치과정

  • 먼저 웹사이트에 방문하여 필요한 파일을 다운로드 받는다.
  1. wget을 이용해서 NiFi를 현재 디렉터리에 내려받는다.
$ wget https://downloads.apache.org/nifi/1.14.0/nifi-1.14.0-bin.tar.gz
--2021-09-06 13:10:55--  https://downloads.apache.org/nifi/1.14.0/nifi-1.14.0-bin.tar.gz
Resolving downloads.apache.org (downloads.apache.org)... 135.181.214.104, 135.181.209.10, 88.99.95.219
Connecting to downloads.apache.org (downloads.apache.org)|135.181.214.104|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1417663663 (1.3G) [application/x-gzip]
Saving to: ‘nifi-1.14.0-bin.tar.gz’

nifi-1.14.0-bin.tar.gz                      100%[==========================================================================================>]   1.32G  5.27MB/s    in 4m 13s
  1. .tar.gz 파일의 압축을 푼다.
$ tar -xvf nifi-1.14.0-bin.tar.gz
$ ls
nifi-1.14.0             nifi-1.14.0-bin.tar.gz
  1. nifi-1.14.0 의 디렉터리가 생겼을 것이며, 해당 디렉터리로 가서 다음 명령어를 실행한다.
$ cd nifi-1.14.0
$ bin/nifi.sh start
nifi.sh: JAVA_HOME not set; results may vary

Java home: 
NiFi home: /Users/evan/Desktop/data_engineering_python/install_files/nifi-1.14.0

Bootstrap Config File: /Users/evan/Desktop/data_engineering_python/install_files/nifi-1.14.0/conf/bootstrap.conf

The operation couldn’t be completed. Unable to locate a Java Runtime.
Please visit http://www.java.com for information on installing Java.
  • 자바가 이미 설치가 되어 있다면 정상적으로 실행이 된다.
  • 그러나, 자바가 설치가 되어 있지 않다면 위 에러와 같이 별도로 자바 환경 설치를 해야 한다.

3.1 자바 설치 및 환경변수 지정

Read more…