Settings

SQLitebroswer 설치 (M1, Mac) 개요 SQLitebroswer 설치를 진행해본다. 설치 주소 : https://sqlitebrowser.org/ Download 버튼을 클릭한다. 자신의 OS에 맞는 버전을 선택해 다운로드 후 설치 필자는 Apple Silicon 버전을 선택했다. 아래 그림과 같이 추가하면 된다.

개요 SQLitebroswer 설치를 진행해본다. 설치 주소 : https://sqlitebrowser.org/ Download 버튼을 클릭한다. 자신의 OS에 맞는 버전을 선택해 다운로드 후 설치 필자는 Standard installer for 64-bit Windows 다운로드 받았다. 설치 프로그램을 실행한 후, 아래와 같이 순차적으로 실행한다. 끝.

개요 크롤링을 위해 네이버 API 사용을 신청해본다. Step 01 - 사이트 접속 네이버 개발자센터 사이트에 접속한다. URL : https://developers.naver.com/main/ Step 02 - 로그인 화면 우측 상단에서 로그인을 진행한다. Step 03 - API 이용신청 및 Application 등록 상단 메뉴에서 Application 클릭 후, 내 애플리케이션을 클릭한다. 확인 버튼을 클릭한다. 이용약관에 동의한다. 계정 정보를 등록 및 휴대폰 인증을 진행한다. 애플리케이션을 등록한다. (아무이름을 작성한다) 개인 PC로 접속하기 위해 WEB 설정 - localhost를 입력한다. 사용 API는 여기에서는 간단하게 검색만 지정한다.

개요 selenium 4.10 버전에서 크롬드라이버 설정하는 방법에 대해 기술하고자 한다. 크롬 버전 확인 크롬 버전 확인은 아래와 같이 진행한다. 먼저 설정을 클릭한다. Chrome 정보를 클릭한다. 본인의 크롬 버전을 확인한다. 크롬 드라이버 다운로드 싸이트 : https://chromedriver.chromium.org/downloads 여기에서 각 크롬버전에 맞게 들어간다. 그런데 간혹 최신버전은 빨간색 글씨 처럼 별도로 접근해 들어가야 한다. 참고 : https://googlechromelabs.github.io/chrome-for-testing/ 필자의 경우 크롬 버전은 115.0.5790.110 이지만 Status가 X로 되어 있다. 이럴 경우 115.0.5790.102 버전을 선택 한다. 위 화면에서 chromedriver를 본인 컴퓨터 OS에 맞는 것을 찾아서 다운로드 받는다.

개요 vagrant 가상환경 설치 중 몇몇 수강생 분들의 에러 확인 PowerShell 실행정책에 따라, 잘 안되는 것을 확인 그런데 choco 실행 전에는 아래와 같이 설정을 하라고 되어 있다. 그런데, 일부 수강생중에는 설치 시 에러가 나는 것을 확인, 따라서 이를 모두 unrestricted로 변경 후, 재 설치를 진행해본다. 이전 글 참조 : https://dschloe.github.io/settings/2023/7/window_vagrant_ubutun18_04_python/ choco 설정의 내용 재 확인 choco 공식 홈피에서 제공한대로 설정을 해본다. PS C:\Users\j2hoo> Get-ExecutionPolicy Restricted 위 상황에서 첫번째 명령어를 입력한다. PS C:\Users\j2hoo> Set-ExecutionPolicy AllSigned PS C:\Users\j2hoo> Get-ExecutionPolicy AllSigned 현재 전체 실행 정책 목록을 확인해본다.

개요 크롤링 교재에서 윈도우에 우분투 가상 환경을 설치하는 부분이 있어서 실제로 잘 되는지 테스트를 해보았다. 향후 교재를 활용한다면, 해당 가상환경에서 진행 하는 것도 고려할 수 있다. 가상환경은 vagrant를 활용했다. 교재 파이썬을 활용한 크롤러 개발과 스크레이핑 입문 Step 01. Chocolatey 설치 윈도우에서 많이 활용되는 패키지 매니저가 바로 Chocolatey 이다. 먼저 3가지를 확인해야 한다. 첫번째 PowerShel이 설치 되어 있어야 하며, 최소 지원 버전은 3이다. PowerShell 버전 확인 PowerShell 탭을 열고 $PSVersionTable 명령어를 실행한다.

개요 통계청(https://mdis.kostat.go.kr/) 에서는 마이크로데이터를 제공하고 있음 해당 사이트에서 회원가입은 필수로 진행해야 한다. MDIS 다운로드 서비스 이용 2022년 기준 가계금융복지조사 데이터를 다운로드 받는다. 다운로드 서비스/소득소비자산/가계금융복지조사/가구마스터(제공)/2022년도를 아래와 같이 순차적으로 클릭한다. 다운로드받을 데이터의 형태와 해당 데이터를 입수할 때 필요한 ‘통계 툴 읽기 스크립트’를 선택한다. Python 스크립트는 제공하지 않아서, R로 선택을 한다. 위 그림에서 마이페이지를 클릭한다.

개요 도커를 활용하여 Streamlit 배포를 진행해본다. Dockerfile의 의미에 대해 이해한다. Dockerfile Docker 이미지를 빌드하기 위한 일련의 명령어를 포함하는 텍스트 파일 컨테이너에서 애플리케이션이 실행될 때 필요한 환경과 종속성을 정의하는 방법을 제공 패키지 설치, 파일 복사 및 환경 변수 설정 등의 지시어가 포함 사전준비 github에 sample 프로젝트를 올려둔다. 예제 : https://github.com/streamlit/streamlit-example 필자는 독립적으로 github repository를 작성했다. 소스코드 예제 소스코드는 크게 아래와 같이 작성했다. 먼저 app.py는 아래와 같다. import numpy as np import pandas as pd import matplotlib import sklearn import scipy import plotly import streamlit as st def main(): st.

무작정 도커 시작하기 docker에 Ubuntu를 설치하고 실행해본다. 현재 파일 목록들을 살펴본다. 빠져 나올 때는 EXIT를 실행한다. C:\Users\human>docker run -it ubuntu:18.04 Unable to find image 'ubuntu:18.04' locally 18.04: Pulling from library/ubuntu 72d9f18d70f3: Pull complete Digest: sha256:a3765b4d74747b5e9bdd03205b3fbc4fa19a02781c185f97f24c8f4f84ed7bbf Status: Downloaded newer image for ubuntu:18.04 root@7a7a49e2d83e:/# ls bin boot dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var root@7a7a49e2d83e:/# 현재 도커 컨테이너 리스트를 확인한다. $ docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 7a7a49e2d83e ubuntu:18.

개요 배치파일로 생성 후, 작업 스케줄러를 활용하여 자동으로 커밋을 실행하는 코드를 작성한다. 다른 예제도 같이 살펴본다. 윈도우 배치 파일 - 파이썬 가상환경 적용 배치파일 생성하기 프로젝트 폴더에 배치파일을 실행한다. 파일명은 submit.bat 로 지정했다. set root=C:\Users\human\Desktop\streamlit-predictions call git add . call git commit -m "updated from batch file" call git push 배치파일 실행하기 우선 해당 폴더에서 submit.bat 파일을 더블클릭한다. 더블 클릭하면 자동으로 배치파일이 실행되면서 해당 명령어들이 순차적으로 돌아가는 것을 확인할 수 있다.