패키지 관리자 설치 Chocolatey (Windows) If you are on a Windows machine and use Chocolatey for package management, you can install Hugo with the following one-liner: 우선 PowerShell을 관리자로 실행 후, 아래와 같이 Chocolately를 설치한다. 명령어 : Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('[https://community.chocolatey.org/install.ps1](https://community.chocolatey.org/install.ps1)')) Windows PowerShell Copyright (C) Microsoft Corporation. All rights reserved. 새로운 크로스 플랫폼 PowerShell 사용 https://aka.ms/pscore6 PS C:\WINDOWS\system32> Set-ExecutionPolicy Bypass -Scope Process -Force; [System.

개요 이번에는 CSV-JSON으로 데이터를 변환하는 파이프라인을 구축하도록 한다. Step 01. Dags 폴더 생성 프로젝트 Root 하단에 Dags 폴더를 만든다. dags 폴더를 확인한다. $ ls airflow.cfg airflow.db dags logs venv webserver_config.py Step 02. 가상의 데이터 생성 이번 테스트에서 사용할 라이브러리가 없다면 우선 설치한다. $ pip3 install faker pandas faker 라이브러리를 활용하여 가상의 데이터를 생성한다. (파일 경로 : data/step01_writecsv.py) from faker import Faker import csv output=open('data.csv','w') fake=Faker() header=['name','age','street','city','state','zip','lng','lat'] mywriter=csv.writer(output) mywriter.writerow(header) for r in range(1000): mywriter.

개요 R에서 Selenium을 설치하는 과정을 보여준다. 우선 자바가 설치되어 있는지 확인한다. 유투브에서 제목만 가져오는 Demo 코드를 작성한다. 자바를 모르시는 분 만약 자바 설치를 해본적이 없다면 아래 코드를 순차적으로 입력한다. install.packages("multilinguer") library(multilinguer) install_jdk() # Rtools 설치 필요 # https://cran.r-project.org/bin/windows/Rtools write('PATH="${RTOOLS40_HOME}\\usr\\bin;${PATH}"', file = "~/.Renviron", append = TRUE) Sys.which("make") install.packages(c("stringr", "hash", "tau", "Sejong", "RSQLite", "devtools"), type = "binary") install.packages("remotes") remotes::install_github("haven-jeon/KoNLP", upgrade = "never", INSTALL_opts = c("--no-multiarch")) library(KoNLP) useNIADic() 마지막 코드에서 콘솔창이 보인다면 정상적으로 설치가 완료가 된 것이다.

설치 wsl2에서 JAVA 설치 한다. $ sudo apt-get update && sudo apt-get upgrade $ sudo apt install openjdk-11-jre-headless $ vi ~/.bash_profile export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 curl을 이용해서 NiFi를 현재 경로에 내려받는다. $ sudo wget https://downloads.apache.org/nifi/1.16.0/nifi-1.16.0-bin.tar.gz .tar.gz 파일의 압축을 푼다. $ sudo tar xvzf nifi-1.16.0-bin.tar.gz 압축파일을 푼 다음에는 cd nifi-1.16.0 폴더에 접속을 한다. $ cd nifi-1.16.0/bin ls를 실행해서 nifi-env.sh 파일이 있는지 확인하고 있다면, vi 에디터로 연다. .bash_profile에서 한 것처럼 동일하게 자바 환경변수를 잡아준다. $ sudo vi nifi-env.

개요 jupyter notebook에서 plotly 기반의 시각화를 작성한다. jupyter notebook에서 html로 변환 시, plotly로 작성된 코드는 나타나지 않았다. 이 때 필수적으로 입력해야 할 코드를 작성한다. 필수 코드 적용 전 변환 시 간단한 시각화 코드를 작성 후, html로 변환한다. import plotly.express as px fig = px.line(x=["a","b","c"], y=[1,3,2], title="sample figure") fig.show() 아래 그림은 일반적으로 JupyterLab 에디터에서 HTML로 변환하는 과정이다. File - Save and Export Notebook As… - HTML 순차적으로 클릭한다. 그런데, HTML로 변환된 파일을 클릭하면, 위 코드에서 보였던 코드는 안 보이게 된다.

Step 1. 사전 필수 패키지 설치 우선 시스템 패키지를 업데이트 하고, HTTPS와 관련된 패키지를 설치한다. $ sudo apt update $ sudo apt install apt-transport-https 자바를 설치한다. 이미 설치가 되어 있다면 버전만 확인한다. $ sudo apt install openjdk-11-jdk 설치한 버전을 확인한다. $ java -version openjdk version "11.0.14.1" 2022-02-08 OpenJDK Runtime Environment (build 11.0.14.1+1-Ubuntu-0ubuntu1.20.04) OpenJDK 64-Bit Server VM (build 11.0.14.1+1-Ubuntu-0ubuntu1.20.04, mixed mode, sharing) 자바 환경 변수를 설정하기 위해 아래와 같이 에디터를 입력한다. $ sudo vi /etc/environment 그리고 아래와 같이 추가한다.

개요 WSL2에서 PostgreSQL을 설치한다. pgAdmin은 Windows에 설치한다. 터미널 업그레이드 먼저 WSL 터미널을 열고, Ubuntu 패키지를 모두 업데이트 및 업그레이드를 한다. $ sudo apt update [sudo] password for evan: Hit:1 https://artifacts.elastic.co/packages/7.x/apt stable InRelease Get:2 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB] Hit:3 http://archive.ubuntu.com/ubuntu focal InRelease Get:4 http://archive.ubuntu.com/ubuntu focal-updates InRelease [114 kB] Get:5 http://archive.ubuntu.com/ubuntu focal-backports InRelease [108 kB] Get:6 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages [1712 kB] Get:7 http://archive.ubuntu.com/ubuntu focal-updates/universe amd64 Packages [916 kB] Fetched 2963 kB in 5s (600 kB/s) Reading package lists.

VSCode 설치 우선 VSCode를 설치한다. URL : https://code.visualstudio.com/download 이 때, 관리자로 실행할 것이기 때문에 System Installer를 다운로드 받는다. 설치 시, 환경변수 체크란만 잘 확인한다. 설치가 다 끝난 후에는 재부팅을 실시한다. Remote WSL 연동 Extension 버튼을 클릭한다. 검색창에서 Remote WSL을 검색 후, 설치를 진행한다. 모두 클릭 후, Mark Done을 선택한다. Open Folder를 클릭한다. WSL에서 설치했던 airflow-test 폴더를 선택한다. 해당 프로젝트를 열도록 한다. 메뉴바에 Terminal을 선택 후, 화면 하단에서 WSL이 있는지 확인한다. 해당 메뉴를 클릭하면 아래와 같이 터미널이 변경된 것을 확인할 수 있다.

개요 윈도우에서 NiFi를 설치해본다. NiFi를 설치하기 위해서는 자바 설치가 필요하다. Step 01. NiFi 다운로드 먼저 웹사이트에 접속한다. URL : https://www.apache.org/dyn/closer.lua?path=/nifi/1.16.0/nifi-1.16.0-bin.zip /img/settings/apache_nifi_installation_windows 가장 먼저 나오는 링크를 클릭한다. URL : https://dlcdn.apache.org/nifi/1.16.0/nifi-1.16.0-bin.zip 다운로드 받은 파일의 압축을 풀도록 한다. Step 02. Java 환경 설정 Java 설치 내용은 아래 블로그를 참조한다. 참고자료 : https://maktony.tistory.com/13 Step 03. run-nifi 배치 파일 실행 run-nifi 배치파일을 관리자 권한으로 실행한다. 아래와 같은 메시지가 출력이 되면 성공한 것이다. Step 04. Web UI 확인 (약 1분이 지난 후) Web UI를 확인해본다.

개요 Windows WSL2에서 airflow를 설치한다. Step 1. Install pip on WSL airflow를 설치하기 위해 pip를 설치한다. $ sudo apt install python3-pip [sudo] password for username: Step 2. Install virtualenv package virtualenv 라이브러리를 설치한다. $ sudo pip3 install virtualenv Step 3. Create a virtual environment C드라이브에 airflow-test 폴더를 생성한다. 해당 디렉터리로 이동한다. 이제 가상환경을 생성한다. $ virtualenv venv 가상환경에 접속을 한다. $ source venv/bin/activate 이번에는 .bashrc 파일을 수정한다. $ vi ~/.bashrc 파일을 연 후, 다음과 같은 코드를 추가한다.