개요 간단하게 PySpark를 설치해보는 과정을 작성한다. WSL2 설치 방법은 다루지 않는다. 필수 파일 설치 자바 및 Spark 파일을 설치하도록 한다. $ sudo apt-get install openjdk-8-jdk $ sudo wget https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz $ sudo tar -xvzf spark-3.2.0-bin-hadoop3.2.tgz .bashrc 파일 수정 필자의 현재 경로는 다음과 같다. evan@evan:/mnt/c/hadoop$ pwd /mnt/c/hadoop 설치한 파일은 다음과 같다. evan@evan:/mnt/c/hadoop$ ls spark-3.2.0-bin-hadoop3.2 spark-3.2.0-bin-hadoop3.2.tgz vi ~/.bashrc 파일을 열고 다음과 같이 코드를 작성한다. 다른 코드는 만지지 않는다. 가장 맨 마지막으로 내려온다. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export SPARK_HOME=/mnt/c/hadoop/spark-3.
패키지 관리자 설치 Chocolatey (Windows) If you are on a Windows machine and use Chocolatey for package management, you can install Hugo with the following one-liner: 우선 PowerShell을 관리자로 실행 후, 아래와 같이 Chocolately를 설치한다. 명령어 : Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('[https://community.chocolatey.org/install.ps1](https://community.chocolatey.org/install.ps1)')) Windows PowerShell Copyright (C) Microsoft Corporation. All rights reserved. 새로운 크로스 플랫폼 PowerShell 사용 https://aka.ms/pscore6 PS C:\WINDOWS\system32> Set-ExecutionPolicy Bypass -Scope Process -Force; [System.
설치 wsl2에서 JAVA 설치 한다. $ sudo apt-get update && sudo apt-get upgrade $ sudo apt install openjdk-11-jre-headless $ vi ~/.bash_profile export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 curl을 이용해서 NiFi를 현재 경로에 내려받는다. $ sudo wget https://downloads.apache.org/nifi/1.16.0/nifi-1.16.0-bin.tar.gz .tar.gz 파일의 압축을 푼다. $ sudo tar xvzf nifi-1.16.0-bin.tar.gz 압축파일을 푼 다음에는 cd nifi-1.16.0 폴더에 접속을 한다. $ cd nifi-1.16.0/bin ls를 실행해서 nifi-env.sh 파일이 있는지 확인하고 있다면, vi 에디터로 연다. .bash_profile에서 한 것처럼 동일하게 자바 환경변수를 잡아준다. $ sudo vi nifi-env.
Step 1. 사전 필수 패키지 설치 우선 시스템 패키지를 업데이트 하고, HTTPS와 관련된 패키지를 설치한다. $ sudo apt update $ sudo apt install apt-transport-https 자바를 설치한다. 이미 설치가 되어 있다면 버전만 확인한다. $ sudo apt install openjdk-11-jdk 설치한 버전을 확인한다. $ java -version openjdk version "11.0.14.1" 2022-02-08 OpenJDK Runtime Environment (build 11.0.14.1+1-Ubuntu-0ubuntu1.20.04) OpenJDK 64-Bit Server VM (build 11.0.14.1+1-Ubuntu-0ubuntu1.20.04, mixed mode, sharing) 자바 환경 변수를 설정하기 위해 아래와 같이 에디터를 입력한다. $ sudo vi /etc/environment 그리고 아래와 같이 추가한다.
VSCode 설치 우선 VSCode를 설치한다. URL : https://code.visualstudio.com/download 이 때, 관리자로 실행할 것이기 때문에 System Installer를 다운로드 받는다. 설치 시, 환경변수 체크란만 잘 확인한다. 설치가 다 끝난 후에는 재부팅을 실시한다. Remote WSL 연동 Extension 버튼을 클릭한다. 검색창에서 Remote WSL을 검색 후, 설치를 진행한다. 모두 클릭 후, Mark Done을 선택한다. Open Folder를 클릭한다. WSL에서 설치했던 airflow-test 폴더를 선택한다. 해당 프로젝트를 열도록 한다. 메뉴바에 Terminal을 선택 후, 화면 하단에서 WSL이 있는지 확인한다. 해당 메뉴를 클릭하면 아래와 같이 터미널이 변경된 것을 확인할 수 있다.
개요 윈도우에서 NiFi를 설치해본다. NiFi를 설치하기 위해서는 자바 설치가 필요하다. Step 01. NiFi 다운로드 먼저 웹사이트에 접속한다. URL : https://www.apache.org/dyn/closer.lua?path=/nifi/1.16.0/nifi-1.16.0-bin.zip /img/settings/apache_nifi_installation_windows
가장 먼저 나오는 링크를 클릭한다. URL : https://dlcdn.apache.org/nifi/1.16.0/nifi-1.16.0-bin.zip 다운로드 받은 파일의 압축을 풀도록 한다. Step 02. Java 환경 설정 Java 설치 내용은 아래 블로그를 참조한다. 참고자료 : https://maktony.tistory.com/13 Step 03. run-nifi 배치 파일 실행 run-nifi 배치파일을 관리자 권한으로 실행한다. 아래와 같은 메시지가 출력이 되면 성공한 것이다. Step 04. Web UI 확인 (약 1분이 지난 후) Web UI를 확인해본다.
개요 Windows WSL2에서 airflow를 설치한다. Step 1. Install pip on WSL airflow를 설치하기 위해 pip를 설치한다. $ sudo apt install python3-pip [sudo] password for username: Step 2. Install virtualenv package virtualenv 라이브러리를 설치한다. $ sudo pip3 install virtualenv Step 3. Create a virtual environment C드라이브에 airflow-test 폴더를 생성한다. 해당 디렉터리로 이동한다. 이제 가상환경을 생성한다. $ virtualenv venv 가상환경에 접속을 한다. $ source venv/bin/activate 이번에는 .bashrc 파일을 수정한다. $ vi ~/.bashrc 파일을 연 후, 다음과 같은 코드를 추가한다.
개요 주요 참고자료는 다음과 같다. WSL2 설치 : https://www.lainyzine.com/ko/article/how-to-install-wsl2-and-use-linux-on-windows-10/#google_vignette 도커 설치 : https://www.lainyzine.com/ko/article/a-complete-guide-to-how-to-install-docker-desktop-on-windows-10/ Step 1. WSL2 설치 과정 Windows PowerShell 관리자로 실행 후 다음 명령어 입력 $ dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart $ dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart 위 명령어 실행 후, 재부팅 필수 x64 머신용 최신 WSL2 Linux 커널 업데이트 패키지를 다운로드 받아 안내에 따라 설치합니다. Windows Powershell 열고 아래 코드 실행 $ wsl --set-default-version 2 WSL 2와의 주요 차이점에 대한 자세한 내용은 https://aka.
문제점 몇몇 수강생이 노트북과 데스트탑 자리 모두에서 깃헙 블로그를 운영하고 싶어함. 또한, 기존에 올라간 블로그 소스를 그대로 사용하고 싶어함. 그런데, 제대로 반영이 안되는 경우가 있음. 해결책 그런 경우 아래와 같이 순차적으로 진행하면 된다. $ hexo init your_blog_repo # 여기는 각자 소스 레포 확인 $ cd myblog $ git init $ git remote add origin https://github.com/your_name/your_blog_repo.git # 각자 소스 레포 주소 아래 명령어에서 에러가 발생이 있다. $ git pull --set-upstream origin main # 에러 발생 그런 경우, 아래 명령어를 추가한다.
Hexo 이미지 추가 Hexo 블로그 작성 시, 이미지 파일을 추가하는 방법에 대해 배운다. 주요 참고자료 Asset Folders: https://hexo.io/docs/asset-folders Asset Folders | Hexo - Static Site Generator | Tutorial 9: https://youtu.be/feIDVQ2tz0o 방법 1. Global Asset Folder 가장 간편한 방법은 source 폴더 아래 images 폴더를 별도로 만든다. 마크다운에서 아래와 같이 입력을 한다.  실제로 테스트를 해본다. (logo.md) image file: https://upload.wikimedia.org/wikipedia/commons/e/e9/Hexo-logo.png # hexo logo 테스트 - 이미지  hexo server를 실행한 뒤 결과를 확인한다.