Python Selenium Crawling Tutorial

강의소개 인프런에서 Streamlit 관련 강의를 진행하고 있습니다. 인프런 : https://inf.run/YPniH 개요 크롬 드라이버를 활용하여 Selenium을 설치한다. 네이버 평점에서 특정 영화(노트북)를 관람한 관람객이 영화에 댓글을 단 영화 수집 크롬 드라이버 설치 자신의 크롬 버전과 같은 버전을 설치한다. 오른쪽 상단에서 더보기를 클릭한다. 도움말 > Chrome 정보를 클릭한다. 이번에는 크롬 드라이버를 다운로드 받는다. 사이트 주소 : https://chromedriver.chromium.org/downloads 다운로드 받은 파일은 C드라이브 하단에 chatbot 폴더에 위치시킨다. URL : C:\chatbot 라이브러리 설치 chatbot 프로젝트를 생성하고, 가상환경을 추가한다 (추가 내용 생략).

django Web 개발 1 - 기본 설정

프로젝트 개요 Python Django로 To-do List를 만들어본다. 파이썬 설치 파이썬 설치는 Anaconda 또는 Python 홈페이지에서 직접 설치한다. Anaconda : https://www.anaconda.com/ Python : https://www.python.org/ 가상환경 설치 파이썬 설치가 끝났다면, 해당 깃허브를 다운로드 받는다. $ git clone https://github.com/dschloe/django_to_do.git django_to_do 폴더에 진입 후 아래와 같이 실행한다. $ cd django_to_do $ virtualenv venv created virtual environment CPython3.9.7.final.0-64 in 7884ms creator CPython3Windows(dest=C:\Users\human\Desktop\django_to_do\venv, clear=False, no_vcs_ignore=False, global=False) seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy, app_data_dir=C:\Users\human\AppData\Local\pypa\virtualenv) added seed packages: pip==22.

카카오톡 오픈 빌더 챗봇 만들기 1편

개요 카카오톡 오픈 빌더 챗봇을 만드는 과정을 보여준다. 회원가입이 필요할 수 있다. 카카오톡 채널을 만든다. 등록하기 구글 검색창에서 카카오톡 오픈 빌더를 검색한다.. 로그인을 하도록 한다.. 챗봇 관리자센터 OBT 참여 신청 메뉴가 나오는지 확인한다. 카카오톡 채널 관리자 가입 카카오톡 관리자 채널에서 새로운 채널을 만든다.. URL : https://center-pf.kakao.com/ 아래 화면에서 새 채널 만들기를 클릭한다. 채널을 개설한다. 프로필 사진, 소개글은 추후에 작성이 가능하다. 작성이 끝나면 확인 버튼을 클릭한다. 이상이 없다면, ‘네, 입력한 정보로 개설하겠습니다.

Visual Studio Code Oracle 연동

개요 VSCode에서 오라클을 연동하는 코드를 작성해본다. Extension Extension에서 Oracle을 검색 후, 설치를 진행한다. 설치 중간에 아래와 같은 문구가 나오면 해당 파일을 설치해야 한다. 필수 설치 파일 설치 URL은 다음과 같다. URL : https://www.oracle.com/database/technologies/appdev/dotnet/install-dotnetcore-windows.html 위 그림에서 Install .NET Runtime for Windows x64를 클릭하면 아래 화면과 함께 설치 파일이 다운로드 된다. 설치 파일을 클릭하면 아래와 같은 설치 관리자가 등장한다. 특별하게 고려할 것은 없다. 정상적으로 설치가 되면 아래와 같은 화면이 나오면 설치는 종료가 된 것이다.

PyCharm Oracle 연동

개요 PyCharm에서 Oracle과 연동하는 방법에 대해 작성한다. Database Navigator 설치 Project 폴더에서 File - Settings - Plugins를 실행한다. 검색창에 Database를 입력한다. Database Navigator를 선택한다. 설치가 완료되면, Restart IDE 창이 활성화가 될 것이다. PyCharm을 재 시작한다. DB Navigator 실행 상단 메뉴창에서 DB Navigator를 선택한다. 새로운 데이터베이스 버튼을 클릭한 후, Oracle을 선택한다. 필수 입력값을 입력 한 후, Test Connection을 실행하여 정상적으로 연동이 되었는지 확인한다. SQL 테스트 이제 새로운 파일을 열고 쿼리 테스트를 진행해본다.

SQL Developer with Git

개요 SQL Developer에서 깃헙과 연동하는 방법을 알려준다. 깃허브 회원가입 및 깃 설치는 이미 된 것으로 가정한다. 새로운 Repository를 만든다. 필자는 oracle_lectures라는 Repository를 만들었다. SQL Developer에서 필요한 작업 이제 SQL Developer 프로그램을 연다. 팀 - Git - 복제 순으로 순차적으로 연다. 아래 화면에서 다음을 클릭한다. 아래 화면에서 새로 생성한 URL, Username, Password를 순차적으로 입력한다. 이 때, Repo 생성 시, Private으로 되어 있었다면 인증 에러가 생길 수 있다. 그런 경우 Public으로 변경한다. 아래 화면에서 main을 선택 후, 다음을 클릭한다.

오라클 19c 기본 세팅

1단계 sqlplus 실행하기 설치가 끝난 후, 윈도우에서 sqlplus 입력 사용자명은 system, 비밀번호는 오라클 설치 시 (1234)] 주의 : 관리자로 실행 2단계 : 테이블스페이스 생성하기 테이블스페이스는 myts라는 이름으로 100MB 크기로 생성 만약 데이터가 증가하면 5MB씩 자동 증가 옵션 추가 생성 구문은 다음과 같음 SQL> CREATE TABLESPACE myts DATAFILE 'C:\oracle\oradata\MYORACLE\myts.dbf' SIZE 100M AUTOEXTEND ON NEXT 5M; 테이블스페이스가 생성되었습니다. 3단계 : 사용자 생성 사용자를 생성하는 코드를 작성한다. SQL> CREATE USER ora_user IDENTIFIED BY evan DEFAULT TABLESPACE MYTS TEMPORARY TABLESPACE TEMP; 사용자가 생성되었습니다.

오라클 삭제 - Windows

개요 오라클 설치가 제대로 안되는 경우가 왕왕 있다. 이럴 경우, 삭제 후 재설치하는 것을 권장한다. 1단계 : 오라클 서비스 중지시키기 제어판 - 시스템 및 보안 - 관리도구 - 서비스 메뉴를 실행해 Oracle로 시작되는 모든 서비를 중지시킨다. 또는 윈도우 검색창에서 서비스를 검색해도 앱에 접근할 수 있다. 2단계 : 삭제 시동 파일 실행하기 오라클 설치 폴더 - deinstall 폴더에서 deinstall.bat 파일을 관리자 권한으로 실행한다. 이름 목록 지정화면에서 설치 시 지정했던 전역데이터베이스 이름을 입력하고, 계속하겠습니까?

Spark Tutorial - Web UI on WSL

개요 간단하게 Spark Tutorial을 활용하여 Web UI를 가동한다. Spark Submit을 활용한다. 파이썬 가상환경 파이썬 가상환경을 작성한다. (필자의 경로는 pyskt_tutorial) $ pwd /mnt/c/hadoop/pyskt_tutorial 가상환경을 생성한다. evan@evan:/mnt/c/hadoop/pyskt_tutorial$ virtualenv venv 생성된 가상환경에 접속한다. evan@evan:/mnt/c/hadoop/pyskt_tutorial$ source venv/bin/activate (venv) evan@evan:/mnt/c/hadoop/pyskt_tutorial$ PySpark 설치 pyspark를 설치한다. (venv) evan@evan:/mnt/c/hadoop/pyskt_tutorial$ pip install pyspark Requirement already satisfied: pyspark in ./venv/lib/python3.8/site-packages (3.2.1) Requirement already satisfied: py4j==0.10.9.3 in ./venv/lib/python3.8/site-packages (from pyspark) (0.10.9.3) 데이터 생성 가상의 데이터를 생성한다. 소스파일과 구분 위해 data 폴더를 만든 후, 마크다운 파일을 하나 만들 것이다.

WSL2에서의 Spark 설치

개요 간단하게 PySpark를 설치해보는 과정을 작성한다. WSL2 설치 방법은 다루지 않는다. 필수 파일 설치 자바 및 Spark 파일을 설치하도록 한다. $ sudo apt-get install openjdk-8-jdk $ sudo wget https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz $ sudo tar -xvzf spark-3.2.0-bin-hadoop3.2.tgz .bashrc 파일 수정 필자의 현재 경로는 다음과 같다. evan@evan:/mnt/c/hadoop$ pwd /mnt/c/hadoop 설치한 파일은 다음과 같다. evan@evan:/mnt/c/hadoop$ ls spark-3.2.0-bin-hadoop3.2 spark-3.2.0-bin-hadoop3.2.tgz vi ~/.bashrc 파일을 열고 다음과 같이 코드를 작성한다. 다른 코드는 만지지 않는다. 가장 맨 마지막으로 내려온다. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export SPARK_HOME=/mnt/c/hadoop/spark-3.