개요 윈도우에서 NiFi를 설치해본다. NiFi를 설치하기 위해서는 자바 설치가 필요하다. Step 01. NiFi 다운로드 먼저 웹사이트에 접속한다. URL : https://www.apache.org/dyn/closer.lua?path=/nifi/1.16.0/nifi-1.16.0-bin.zip /img/settings/apache_nifi_installation_windows 가장 먼저 나오는 링크를 클릭한다. URL : https://dlcdn.apache.org/nifi/1.16.0/nifi-1.16.0-bin.zip 다운로드 받은 파일의 압축을 풀도록 한다. Step 02. Java 환경 설정 Java 설치 내용은 아래 블로그를 참조한다. 참고자료 : https://maktony.tistory.com/13 Step 03. run-nifi 배치 파일 실행 run-nifi 배치파일을 관리자 권한으로 실행한다. 아래와 같은 메시지가 출력이 되면 성공한 것이다. Step 04. Web UI 확인 (약 1분이 지난 후) Web UI를 확인해본다.

개요 Windows WSL2에서 airflow를 설치한다. Step 1. Install pip on WSL airflow를 설치하기 위해 pip를 설치한다. $ sudo apt install python3-pip [sudo] password for username: Step 2. Install virtualenv package virtualenv 라이브러리를 설치한다. $ sudo pip3 install virtualenv Step 3. Create a virtual environment C드라이브에 airflow-test 폴더를 생성한다. 해당 디렉터리로 이동한다. 이제 가상환경을 생성한다. $ virtualenv venv 가상환경에 접속을 한다. $ source venv/bin/activate 이번에는 .bashrc 파일을 수정한다. $ vi ~/.bashrc 파일을 연 후, 다음과 같은 코드를 추가한다.

개요 주요 참고자료는 다음과 같다. WSL2 설치 : https://www.lainyzine.com/ko/article/how-to-install-wsl2-and-use-linux-on-windows-10/#google_vignette 도커 설치 : https://www.lainyzine.com/ko/article/a-complete-guide-to-how-to-install-docker-desktop-on-windows-10/ Step 1. WSL2 설치 과정 Windows PowerShell 관리자로 실행 후 다음 명령어 입력 $ dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart $ dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart 위 명령어 실행 후, 재부팅 필수 x64 머신용 최신 WSL2 Linux 커널 업데이트 패키지를 다운로드 받아 안내에 따라 설치합니다. Windows Powershell 열고 아래 코드 실행 $ wsl --set-default-version 2 WSL 2와의 주요 차이점에 대한 자세한 내용은 https://aka.

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 One-Hot Encoding 개념에 대해 이해한다. One-Hot Encoder 사용법을 익힌다. One-Hot Encoding One-Hot Encoding은 문자를 숫자로 변환하는 것이다. 먼저 그림을 보면서 이해하도록 한다. 머신러닝 알고리즘은 데이터가 모두 숫자인 것으로 이해하기 때문에 모두 변환해주어야 한다. OnetHotEncoder OneHotEncoder는 Scikit-Learn 라이브러리에 있는 클래스이다.

개요 skleran.tree.plot_tree의 색상을 바꿔보도록 한다. matplotlib 객체지향의 구조를 알면 어렵지(?) 않게 바꿀 수 있다. 간단하게 plot_tree 시각화를 구현해본다. 언제나 예제로 희생당하는 iris 데이터에게 애도를 표한다. 구글코랩에서 실행 시, 다음 코드를 실행하여 최신 라이브러리로 업그레이드 한다. !pip install -U matplotlib Requirement already satisfied: matplotlib in /usr/local/lib/python3.7/dist-packages (3.2.2) Collecting matplotlib Downloading matplotlib-3.5.1-cp37-cp37m-manylinux_2_5_x86_64.manylinux1_x86_64.whl (11.2 MB)  |████████████████████████████████| 11.2 MB 27.0 MB/s [?25hRequirement already satisfied: kiwisolver>=1.0.1 in /usr/local/lib/python3.7/dist-packages (from matplotlib) (1.4.0) Requirement already satisfied: python-dateutil>=2.

Step 01 - 빅카인즈 접속 후, 데이터 내려받기 싸이트 : https://www.bigkinds.or.kr/v2/news/index.do 해당 싸이트에서 키워드를 입력 한다. 이 때, 기간, 신문사 등을 선택할 수 있다. 필자는 키워드는 ‘사회적 경제’ 신문사는 국민일보, 조선일보, 중앙일보를 선택한다. 하단으로 내려 적용하기 버튼을 클릭한다. Step 03 - 분석 결과 및 시각화 탭을 클릭한다. 데이터 다운로드 탭 하단에 엑셀 다운로드 버튼을 클릭한다. 해당 파일에는 본문이 있지만, 보통 200자 내외로 짧게 요약이 되어 있다. Step 02 - 웹 크롤링 소스 코드 작성을 위한 사전 준비 먼저 기 다운로드 된 파일을 불러온다.

개요 Heroku App을 배포하는 과정을 작성한다. 가장 중요한 것은 Git과 연동이 되어 있어야 한다. 깃허브 : https://github.com/ GIT : https://git-scm.com/ 이 부분에 대한 설치 과정은 생략한다. 배포하려는 프로젝트는 다음 링크에서 확인한다. 참고 : Python Sales Dashboard Using Dash and Plotly Procfile 생성 프로젝트 Root 디렉터리에 Procfile 을 생성한다. web: gunicorn index:server 이 때, index 파일명을 의미한다. 작업 파일 수정 index.py을 열고, 다음 코드를 추가한다. server = app.server 을 추가한다. app = dash.

개요 Sales 데이터를 활용하여 대시보드를 만드는 과정을 제작한다. 기본 파이썬 코딩은 할 줄 안다는 전제하에 작성하며, 세부 내용이 필요하면 참고 자료를 확인할 것을 권한다. 윈도우 10에서 본 프로젝트를 수행하였다. Chapter 1. Github Repo 생성 필자는 Github 레포를 만들었다. (Repo 명: python_dash_sales) git clone을 통해서 로컬로 가져온다. $ git clone https://github.com/your_id/python_dash_sales.git Chapter 2. Python 프로젝트 생성 PyCharm을 주 에디터로 사용할 예정이다. 파이썬은 아나콘다로 설치하였고, 이 때 환경변수 설정은 잘 되어 있는지 확인한다.

개요 BigQuery ML을 소개한다. BigQuery ML을 사용하면, 머신러닝 모델을 만들고 또한 실행할 수 있다. 목표 BigQuery ML에서 CREATE MODEL 문을 사용하여 선형회귀 모델 만들기 ML.EVALUATE 함수를 사용하여 ML 모델 평가 ML.PREDICT 함수를 사용하여 ML 모델 예측 주의 사항 BigQuery 비용 관련된 문서는 다음과 같다. BigQuery 가격 책정: https://cloud.google.com/bigquery/pricing BigQuery 가격 책정**:** https://cloud.google.com/bigquery-ml/pricing 1단계: 데이터 세트 만들기 데이터 세트 ID에 bqml_practice 입력 데이터 위치로 미국 US 선택 나머지는 모두 Default로 설정한다. 2단계: 모델 만들기 데이터 소개 먼저 데이터를 소개한다.

개요 GCP 빅쿼리를 연동하는 예제를 구현한다. 먼저 빅쿼리를 통해 데이터를 적재하는 예제를 확인한다. 구글 코랩에서 빅쿼리 데이터를 불러온다. 데이터 스튜디오에서 빅쿼리 데이터를 불러온다. 소개 빅쿼리를 소개하는 영상은 유투브에서 검색하면 매우 쉽게 확인할 수 있다. 영상 참조: 데이터 웨어하우스 끝판왕 BigQuery 어디까지 알고 계신가요 Google Cloud 회원가입 준비물 Google 계정 신용카드나 체크카드 (개인적으로 돈이 없는 체크카드 사용 권장) 구글 클라우드 사이트 접속 싸이트: https://cloud.google.com/ 무료 서버 받으려면 아래 화면에서 TRY IT FREE 를 클릭한다.