Settings

동기부여 블로그 광고수익 비교 글을 보게 되었다. 그런데, 현재 운영중인 이 블로그의 일일 방문자수가 300-400명이어서 방치하면 안될 것 같았다. 간단하게 Google Adsense를 Hugo Website에 추가하도록 한다. 사전준비 먼저 Hugo Website는 Google Analytics와 미리 연동이 되어 있어야 한다. 참조 : Hugo 블로그에 Google analytics 추가하기 Google Adsense 우선 Google Adsense에 접속한다. Google Ads에서 아래 그림과 같이 사이트를 클릭한다. 사이트 추가 버튼을 누른다. 본인의 블로그 URL을 추가한다. HTML Tag를 복사하고, 검토 요청 버튼을 클릭한다.

개요 카카오톡 오픈 빌더 챗봇을 만드는 과정을 보여준다. 회원가입이 필요할 수 있다. 카카오톡 채널을 만든다. 등록하기 구글 검색창에서 카카오톡 오픈 빌더를 검색한다.. 로그인을 하도록 한다.. 챗봇 관리자센터 OBT 참여 신청 메뉴가 나오는지 확인한다. 카카오톡 채널 관리자 가입 카카오톡 관리자 채널에서 새로운 채널을 만든다.. URL : https://center-pf.kakao.com/ 아래 화면에서 새 채널 만들기를 클릭한다. 채널을 개설한다. 프로필 사진, 소개글은 추후에 작성이 가능하다. 작성이 끝나면 확인 버튼을 클릭한다. 이상이 없다면, ‘네, 입력한 정보로 개설하겠습니다.

개요 간단하게 Spark Tutorial을 활용하여 Web UI를 가동한다. Spark Submit을 활용한다. 파이썬 가상환경 파이썬 가상환경을 작성한다. (필자의 경로는 pyskt_tutorial) $ pwd /mnt/c/hadoop/pyskt_tutorial 가상환경을 생성한다. evan@evan:/mnt/c/hadoop/pyskt_tutorial$ virtualenv venv 생성된 가상환경에 접속한다. evan@evan:/mnt/c/hadoop/pyskt_tutorial$ source venv/bin/activate (venv) evan@evan:/mnt/c/hadoop/pyskt_tutorial$ PySpark 설치 pyspark를 설치한다. (venv) evan@evan:/mnt/c/hadoop/pyskt_tutorial$ pip install pyspark Requirement already satisfied: pyspark in ./venv/lib/python3.8/site-packages (3.2.1) Requirement already satisfied: py4j==0.10.9.3 in ./venv/lib/python3.8/site-packages (from pyspark) (0.10.9.3) 데이터 생성 가상의 데이터를 생성한다. 소스파일과 구분 위해 data 폴더를 만든 후, 마크다운 파일을 하나 만들 것이다.

개요 간단하게 PySpark를 설치해보는 과정을 작성한다. WSL2 설치 방법은 다루지 않는다. 필수 파일 설치 자바 및 Spark 파일을 설치하도록 한다. $ sudo apt-get install openjdk-8-jdk $ sudo wget https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz $ sudo tar -xvzf spark-3.2.0-bin-hadoop3.2.tgz .bashrc 파일 수정 필자의 현재 경로는 다음과 같다. evan@evan:/mnt/c/hadoop$ pwd /mnt/c/hadoop 설치한 파일은 다음과 같다. evan@evan:/mnt/c/hadoop$ ls spark-3.2.0-bin-hadoop3.2 spark-3.2.0-bin-hadoop3.2.tgz vi ~/.bashrc 파일을 열고 다음과 같이 코드를 작성한다. 다른 코드는 만지지 않는다. 가장 맨 마지막으로 내려온다. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export SPARK_HOME=/mnt/c/hadoop/spark-3.

패키지 관리자 설치 Chocolatey (Windows) If you are on a Windows machine and use Chocolatey for package management, you can install Hugo with the following one-liner: 우선 PowerShell을 관리자로 실행 후, 아래와 같이 Chocolately를 설치한다. 명령어 : Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('[https://community.chocolatey.org/install.ps1](https://community.chocolatey.org/install.ps1)')) Windows PowerShell Copyright (C) Microsoft Corporation. All rights reserved. 새로운 크로스 플랫폼 PowerShell 사용 https://aka.ms/pscore6 PS C:\WINDOWS\system32> Set-ExecutionPolicy Bypass -Scope Process -Force; [System.

설치 wsl2에서 JAVA 설치 한다. $ sudo apt-get update && sudo apt-get upgrade $ sudo apt install openjdk-11-jre-headless $ vi ~/.bash_profile export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 curl을 이용해서 NiFi를 현재 경로에 내려받는다. $ sudo wget https://downloads.apache.org/nifi/1.16.0/nifi-1.16.0-bin.tar.gz .tar.gz 파일의 압축을 푼다. $ sudo tar xvzf nifi-1.16.0-bin.tar.gz 압축파일을 푼 다음에는 cd nifi-1.16.0 폴더에 접속을 한다. $ cd nifi-1.16.0/bin ls를 실행해서 nifi-env.sh 파일이 있는지 확인하고 있다면, vi 에디터로 연다. .bash_profile에서 한 것처럼 동일하게 자바 환경변수를 잡아준다. $ sudo vi nifi-env.

Step 1. 사전 필수 패키지 설치 우선 시스템 패키지를 업데이트 하고, HTTPS와 관련된 패키지를 설치한다. $ sudo apt update $ sudo apt install apt-transport-https 자바를 설치한다. 이미 설치가 되어 있다면 버전만 확인한다. $ sudo apt install openjdk-11-jdk 설치한 버전을 확인한다. $ java -version openjdk version "11.0.14.1" 2022-02-08 OpenJDK Runtime Environment (build 11.0.14.1+1-Ubuntu-0ubuntu1.20.04) OpenJDK 64-Bit Server VM (build 11.0.14.1+1-Ubuntu-0ubuntu1.20.04, mixed mode, sharing) 자바 환경 변수를 설정하기 위해 아래와 같이 에디터를 입력한다. $ sudo vi /etc/environment 그리고 아래와 같이 추가한다.

VSCode 설치 우선 VSCode를 설치한다. URL : https://code.visualstudio.com/download 이 때, 관리자로 실행할 것이기 때문에 System Installer를 다운로드 받는다. 설치 시, 환경변수 체크란만 잘 확인한다. 설치가 다 끝난 후에는 재부팅을 실시한다. Remote WSL 연동 Extension 버튼을 클릭한다. 검색창에서 Remote WSL을 검색 후, 설치를 진행한다. 모두 클릭 후, Mark Done을 선택한다. Open Folder를 클릭한다. WSL에서 설치했던 airflow-test 폴더를 선택한다. 해당 프로젝트를 열도록 한다. 메뉴바에 Terminal을 선택 후, 화면 하단에서 WSL이 있는지 확인한다. 해당 메뉴를 클릭하면 아래와 같이 터미널이 변경된 것을 확인할 수 있다.

개요 윈도우에서 NiFi를 설치해본다. NiFi를 설치하기 위해서는 자바 설치가 필요하다. Step 01. NiFi 다운로드 먼저 웹사이트에 접속한다. URL : https://www.apache.org/dyn/closer.lua?path=/nifi/1.16.0/nifi-1.16.0-bin.zip /img/settings/apache_nifi_installation_windows 가장 먼저 나오는 링크를 클릭한다. URL : https://dlcdn.apache.org/nifi/1.16.0/nifi-1.16.0-bin.zip 다운로드 받은 파일의 압축을 풀도록 한다. Step 02. Java 환경 설정 Java 설치 내용은 아래 블로그를 참조한다. 참고자료 : https://maktony.tistory.com/13 Step 03. run-nifi 배치 파일 실행 run-nifi 배치파일을 관리자 권한으로 실행한다. 아래와 같은 메시지가 출력이 되면 성공한 것이다. Step 04. Web UI 확인 (약 1분이 지난 후) Web UI를 확인해본다.

개요 Windows WSL2에서 airflow를 설치한다. Step 1. Install pip on WSL airflow를 설치하기 위해 pip를 설치한다. $ sudo apt install python3-pip [sudo] password for username: Step 2. Install virtualenv package virtualenv 라이브러리를 설치한다. $ sudo pip3 install virtualenv Step 3. Create a virtual environment C드라이브에 airflow-test 폴더를 생성한다. 해당 디렉터리로 이동한다. 이제 가상환경을 생성한다. $ virtualenv venv 가상환경에 접속을 한다. $ source venv/bin/activate 이번에는 .bashrc 파일을 수정한다. $ vi ~/.bashrc 파일을 연 후, 다음과 같은 코드를 추가한다.