개요 간단하게 PySpark를 설치해보는 과정을 작성한다. WSL2 설치 방법은 다루지 않는다. 필수 파일 설치 자바 및 Spark 파일을 설치하도록 한다. $ sudo apt-get install openjdk-8-jdk $ sudo wget https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz $ sudo tar -xvzf spark-3.2.0-bin-hadoop3.2.tgz .bashrc 파일 수정 필자의 현재 경로는 다음과 같다. evan@evan:/mnt/c/hadoop$ pwd /mnt/c/hadoop 설치한 파일은 다음과 같다. evan@evan:/mnt/c/hadoop$ ls spark-3.2.0-bin-hadoop3.2 spark-3.2.0-bin-hadoop3.2.tgz vi ~/.bashrc 파일을 열고 다음과 같이 코드를 작성한다. 다른 코드는 만지지 않는다. 가장 맨 마지막으로 내려온다. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export SPARK_HOME=/mnt/c/hadoop/spark-3.

개요 PyCaret이 최근 업데이트 되면서 Kaggle에서 설치 오류가 뜨기 시작함. 메인 홈페이지 : https://pycaret.gitbook.io/docs/ 해결책은 몇가지 있으나, 그 중 Downgrade 해서 설치 할 예정 캐글 대회 시작 캐글 노트북 시작을 하면 다음 코드가 나타난다. 다음 Cell부터 진행한다. # This Python 3 environment comes with many helpful analytics libraries installed # It is defined by the kaggle/python Docker image: https://github.com/kaggle/docker-python # For example, here's several helpful packages to load import numpy as np # linear algebra import pandas as pd # data processing, CSV file I/O (e.

패키지 관리자 설치 Chocolatey (Windows) If you are on a Windows machine and use Chocolatey for package management, you can install Hugo with the following one-liner: 우선 PowerShell을 관리자로 실행 후, 아래와 같이 Chocolately를 설치한다. 명령어 : Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('[https://community.chocolatey.org/install.ps1](https://community.chocolatey.org/install.ps1)')) Windows PowerShell Copyright (C) Microsoft Corporation. All rights reserved. 새로운 크로스 플랫폼 PowerShell 사용 https://aka.ms/pscore6 PS C:\WINDOWS\system32> Set-ExecutionPolicy Bypass -Scope Process -Force; [System.

개요 이번에는 CSV-JSON으로 데이터를 변환하는 파이프라인을 구축하도록 한다. Step 01. Dags 폴더 생성 프로젝트 Root 하단에 Dags 폴더를 만든다. dags 폴더를 확인한다. $ ls airflow.cfg airflow.db dags logs venv webserver_config.py Step 02. 가상의 데이터 생성 이번 테스트에서 사용할 라이브러리가 없다면 우선 설치한다. $ pip3 install faker pandas faker 라이브러리를 활용하여 가상의 데이터를 생성한다. (파일 경로 : data/step01_writecsv.py) from faker import Faker import csv output=open('data.csv','w') fake=Faker() header=['name','age','street','city','state','zip','lng','lat'] mywriter=csv.writer(output) mywriter.writerow(header) for r in range(1000): mywriter.

개요 R에서 Selenium을 설치하는 과정을 보여준다. 우선 자바가 설치되어 있는지 확인한다. 유투브에서 제목만 가져오는 Demo 코드를 작성한다. 자바를 모르시는 분 만약 자바 설치를 해본적이 없다면 아래 코드를 순차적으로 입력한다. install.packages("multilinguer") library(multilinguer) install_jdk() # Rtools 설치 필요 # https://cran.r-project.org/bin/windows/Rtools write('PATH="${RTOOLS40_HOME}\\usr\\bin;${PATH}"', file = "~/.Renviron", append = TRUE) Sys.which("make") install.packages(c("stringr", "hash", "tau", "Sejong", "RSQLite", "devtools"), type = "binary") install.packages("remotes") remotes::install_github("haven-jeon/KoNLP", upgrade = "never", INSTALL_opts = c("--no-multiarch")) library(KoNLP) useNIADic() 마지막 코드에서 콘솔창이 보인다면 정상적으로 설치가 완료가 된 것이다.

설치 wsl2에서 JAVA 설치 한다. $ sudo apt-get update && sudo apt-get upgrade $ sudo apt install openjdk-11-jre-headless $ vi ~/.bash_profile export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 curl을 이용해서 NiFi를 현재 경로에 내려받는다. $ sudo wget https://downloads.apache.org/nifi/1.16.0/nifi-1.16.0-bin.tar.gz .tar.gz 파일의 압축을 푼다. $ sudo tar xvzf nifi-1.16.0-bin.tar.gz 압축파일을 푼 다음에는 cd nifi-1.16.0 폴더에 접속을 한다. $ cd nifi-1.16.0/bin ls를 실행해서 nifi-env.sh 파일이 있는지 확인하고 있다면, vi 에디터로 연다. .bash_profile에서 한 것처럼 동일하게 자바 환경변수를 잡아준다. $ sudo vi nifi-env.

개요 jupyter notebook에서 plotly 기반의 시각화를 작성한다. jupyter notebook에서 html로 변환 시, plotly로 작성된 코드는 나타나지 않았다. 이 때 필수적으로 입력해야 할 코드를 작성한다. 필수 코드 적용 전 변환 시 간단한 시각화 코드를 작성 후, html로 변환한다. import plotly.express as px fig = px.line(x=["a","b","c"], y=[1,3,2], title="sample figure") fig.show() 아래 그림은 일반적으로 JupyterLab 에디터에서 HTML로 변환하는 과정이다. File - Save and Export Notebook As… - HTML 순차적으로 클릭한다. 그런데, HTML로 변환된 파일을 클릭하면, 위 코드에서 보였던 코드는 안 보이게 된다.

Step 1. 사전 필수 패키지 설치 우선 시스템 패키지를 업데이트 하고, HTTPS와 관련된 패키지를 설치한다. $ sudo apt update $ sudo apt install apt-transport-https 자바를 설치한다. 이미 설치가 되어 있다면 버전만 확인한다. $ sudo apt install openjdk-11-jdk 설치한 버전을 확인한다. $ java -version openjdk version "11.0.14.1" 2022-02-08 OpenJDK Runtime Environment (build 11.0.14.1+1-Ubuntu-0ubuntu1.20.04) OpenJDK 64-Bit Server VM (build 11.0.14.1+1-Ubuntu-0ubuntu1.20.04, mixed mode, sharing) 자바 환경 변수를 설정하기 위해 아래와 같이 에디터를 입력한다. $ sudo vi /etc/environment 그리고 아래와 같이 추가한다.

개요 WSL2에서 PostgreSQL을 설치한다. pgAdmin은 Windows에 설치한다. 터미널 업그레이드 먼저 WSL 터미널을 열고, Ubuntu 패키지를 모두 업데이트 및 업그레이드를 한다. $ sudo apt update [sudo] password for evan: Hit:1 https://artifacts.elastic.co/packages/7.x/apt stable InRelease Get:2 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB] Hit:3 http://archive.ubuntu.com/ubuntu focal InRelease Get:4 http://archive.ubuntu.com/ubuntu focal-updates InRelease [114 kB] Get:5 http://archive.ubuntu.com/ubuntu focal-backports InRelease [108 kB] Get:6 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages [1712 kB] Get:7 http://archive.ubuntu.com/ubuntu focal-updates/universe amd64 Packages [916 kB] Fetched 2963 kB in 5s (600 kB/s) Reading package lists.

VSCode 설치 우선 VSCode를 설치한다. URL : https://code.visualstudio.com/download 이 때, 관리자로 실행할 것이기 때문에 System Installer를 다운로드 받는다. 설치 시, 환경변수 체크란만 잘 확인한다. 설치가 다 끝난 후에는 재부팅을 실시한다. Remote WSL 연동 Extension 버튼을 클릭한다. 검색창에서 Remote WSL을 검색 후, 설치를 진행한다. 모두 클릭 후, Mark Done을 선택한다. Open Folder를 클릭한다. WSL에서 설치했던 airflow-test 폴더를 선택한다. 해당 프로젝트를 열도록 한다. 메뉴바에 Terminal을 선택 후, 화면 하단에서 WSL이 있는지 확인한다. 해당 메뉴를 클릭하면 아래와 같이 터미널이 변경된 것을 확인할 수 있다.