Programmings

MySQL 설치 (윈도우 11 기반)

개요

  • MySQL 설치를 진행한다.

MySQL 다운로드

Untitled

  • 위 화면에서 2번째를 선택한다. 선택 시, 로그인을 해야 하는 상황이 올수도 있다. 회원 가입 후, 재 진행 한다.
  • 다음 화면에서 Download Now버튼을 클릭한다.

Untitled

MySQL 설치

  • 다운로드 설치 프로그램을 실행한다.
  • 아래 메뉴에서 선택적으로 설치가 가능하다.
  • 여기에서는 Full 을 선택하고 설치를 진행하도록 한다.

Untitled

  • Execute 버튼을 클릭하여 설치를 진행한다.

Untitled

  • Next 버튼을 클릭한다.

Untitled

  • 포트 번호 (3306)를 기억한다.

Untitled

  • 간단하게 접속을 진행하기 위해 두번째 메뉴 선택 후, Next 버튼을 클릭한다.

Untitled

MySQL 완전 삭제 (윈도우 11 기반)

개요

  • 기 설치된 MySQL을 완전 삭제하도록 한다.
  • MySQL은 제어판 및 프로그램 제거를 통해서 삭제가 되지 않고, 이런 상태에서 제거할 경우, 재 설치 시 에러가 발생할 가능성이 높음

프로그램 추가 / 제거

  • MySQL과 관련된 모든 프로그램을 삭제한다.

Untitled

appdata에서 MySQL 폴더 삭제

  • window 버튼 + R을 누른 후, 아래와 같이 %appdata% 입력 후 확인 버튼을 클릭한다.

Untitled

  • MySQL 폴더를 삭제한다.

Untitled

ProgramData에서 MySQL 관련 폴더 삭제

  • Windows + R 실행 후, %ProgramData% 입력 후 확인 버튼을 누른다.

Untitled

VS Code with AWS EC2 접속

VSCode - Remote SSH 설치

  • putty 같은 SSH 툴로 vi 에디터 이용해서 수정
  • 매우 불편함
  • vscode에서 직접 EC2에 접속하도록 한다.

AWS Extension 확장팩 설치

  • 아래와 같이 확장팩을 설치한다.

Screenshot 2023-09-08 at 4.15.10 PM.png

Remote SSH Extension 확장팩 설치

  • Remote - SSH 확장팩을 아래와 같이 설치를 진행하도록 한다.

Screenshot 2023-09-08 at 4.27.47 PM.png

  • 설치가 완료가 되면 SSH 연결할 호스트를 입력한다.
ssh [계정]@[ip주소]
ssh aa@1.1.1.1 

Screenshot 2023-09-08 at 4.29.30 PM.png

  • /User/evan/.ssh/config 선택한다.

Screenshot 2023-09-08 at 4.30.40 PM.png

AWS EC2 접속 (with pem & ppk file)

멀티캠퍼스 AWS 서버 관련 정리

실습용 서버 실행

Untitled

  • 실습용 서버 사용자 정보 참조하여 로그인 (강의 때 공유)

  • 비밀번호 변경

    • 본인 비밀번호는 반드시 기억한다. (강사비번 : ****)
    • Slack 강사 DM으로 남겨주세요.

Untitled

EC2 실행

  • 우측 상단 리전 정보를 ‘오사카’로 변경 후 서비스 검색창에서 EC2 검색

Untitled

  • 변경된 상태에서 EC2 검색

Untitled

Untitled

Google Apps Script 기본문법 - 2

조건문

  • if 조건문 코드는 아래와 같음
  • 여러개의 조건문은 && 연산자 또는 || 연산자를 사용한다.
function myFunction_01() {
  let number=9;
  if(number > 10) {
    console.log("큰 수입니다!")
  } else {
    console.log("작은 수입니다.")
  }
}

Untitled

function myFunction_02() {
  var currentTemperature = 25; 
  var isWeekend = true; 
  var thresholdTemperature = 35; 

  if (currentTemperature > thresholdTemperature && !isWeekend) {
    console.log("집에 계세요!")
  } else if (currentTemperature > thresholdTemperature || isWeekend) {
    console.log("외출하세요!")
  } else {
    console.log("판단을 보류합니다!")
  }
}

Untitled

반복문

  • 반복문을 활용하여 구구단을 작성한다.
function myFunction_03() {
  var numRows = 9; // Number of rows in the table
  var numColumns = 9; // Number of columns in the table

  for (var i = 2; i <= numRows; i++) {
    var row = '';
    for (var j = 1; j <= numColumns; j++) {
      var result = i * j;
      row += result + '\t'; // Use '\t' to separate columns
    }
    Logger.log(row); // Log the row to the Apps Script log
  }
}

Untitled

Google Apps Script 기본문법 - 1

개요

  • Google Apps Script의 기본문법을 배우도록 한다.
  • 변수와 상수, 배열, 객체등을 테스트 한다.

자바스크립트 기초

  • 기초 문법을 배우도록 한다.
  • 아래와 같이 코드 생성 후 실행을 한다.
function myFunction() {
  Logger.log("Hello World");
}

Untitled

  • 여러 함수를 만들고 선택적으로 실행이 가능하다.
  • 주석 처리는 크게 // /* */ 으로 할 수 있다.
function myFunction01_1() {
  Logger.log("Hello World");
}

function myFunction01_2() {
  console.log("Hello GAS!")

  // 주석 입력
  /*
  여러 행에 걸쳐 주석을 입력한다. 
  */
}

Untitled

M1 환경설정 XGBoost & LightGBM with Streamlit in Python

개요

  • M1에서 Python 환경설정을 해본다.
  • XGBoost & LightGBM 및 Streamlit 설치를 진행한다.

아나콘다 설치

  • m1 버전의 아나콘다를 설치한다.

fig01.png

Screenshot 2023-09-02 at 12.06.58 AM.png

깃헙 레포 생성

  • 먼저 github repo를 생성한다.

Screenshot 2023-09-02 at 12.14.00 AM.png

Conda 가상환경 설정

  • git clone 명령어를 통해 repo를 로컬로 다운로드 한다.
evan$ git clone https://github.com/yourname/m1_streamlit.git
Cloning into 'm1_streamlit'...
remote: Enumerating objects: 4, done.
remote: Counting objects: 100% (4/4), done.
remote: Compressing objects: 100% (3/3), done.
remote: Total 4 (delta 0), reused 0 (delta 0), pack-reused 0
Receiving objects: 100% (4/4), done.
  • conda 명령어를 통해 가상환경을 설치한다.
  • 그 후에 가상환경에 접속 후, Python 설치 및 주요 라이브러리를 설치한다.
  • 설치 중간에 메시지가 나오면 Y를 입력 후 계속 설치 한다.
evan$ cd m1_streamlit
m1_streamlit evan$ conda create -n mulcamp python=3.10.3
m1_streamlit evan$ conda activate mulcamp
(mulcamp) m1_streamlit evan$ conda install numpy scipy scikit-learn pandas

Screenshot 2023-09-02 at 12.21.46 AM.png

Kaggle - Colab API 연동

개요

  • API 토큰을 내려받은 후, 구글 코랩에서 데이터를 다운로드 받도록 한다.

API 토큰 발급

  • Kaggle Profile - Settings - API를 순차적으로 클릭 후, Create New Token 버튼을 클릭한다.

Untitled

  • 아래 화면처럼 다운로드를 받을 수 있다.

Untitled

Google Colab API 코드 업로드

  • 이제 해당 파일을 바탕화면 등 적당한 곳에 위치시킨 후 아래 코드를 실행한다.
# kaggle.json 파일을 업로드하세요.
from google.colab import files
files.upload()

Untitled

Untitled

  • 마지막으로 ~/.kaggle 폴더를 만들고 키 파일을 복사한 후, 보안을 위해 현재 사용자만 이 파일을 읽을 수 있도록 하는 명령어(chmod 600)를 실행한다.
!mkdir ~/.kaggle
!cp kaggle.json ~/.kaggle/
!chmod 600 ~/.kaggle/kaggle.json

캐글 데이터 다운로드

  • 이제 사용할 데이터를 내려받는다.
!kaggle competitions download -c dogs-vs-cats
  • 만약 403 Forbidden 에러 발생 시, 이는 데이터셋에 연관된 규칙에 미동의한 상태로 동의를 진행해야 한다. https://www.kaggle.com/c/dogs-vs-cats/rules 페이지로 이동 후, I Understand and Accept 버튼을 누른다.

Untitled

Google Colab Plotly Graph 안 보일 때

현상

  • plotly 라이브러리를 활용하여 Google Colab에서 시각화를 할 때 그래프가 보이지 않는 현상이 존재함
  • 여러 방법론이 등장하지만, 공식문서에 따라서 어떻게 활용하는지 확인하도록 함

Google Colab

  • 먼저 구글 코랩에서 간단한 시각화 코드를 작성하고 코드를 실행한다.
import plotly 
plotly.__version__
# 5.13.1
  • 샘플 코드는 아래와 같음
import plotly.graph_objects as go
import pandas as pd 

temp = pd.DataFrame({
  "Fruit": ["Apples", "Oranges", "Bananas", "Apples", "Oranges", "Bananas"],
  "Contestant": ["Alex", "Alex", "Alex", "Jordan", "Jordan", "Jordan"],
  "Number Eaten": [2, 1, 3, 1, 3, 2],
})

fig = go.Figure()
fig.add_trace(go.Bar(name = "Alex", x = temp['Fruit'], y = temp[temp['Contestant'] == 'Alex']['Number Eaten'].values))
fig.add_trace(go.Bar(name = "Jordan", x = temp['Fruit'], y = temp[temp['Contestant'] == 'Jordan']['Number Eaten'].values))
fig.update_layout(barmode='group')
print(type(fig))
fig.show()

시각화가 나타나지 않을 경우

  • 만약 시각화가 나타나지 않는다면 설정이 제대로 되어 있지 않았을 가능성이 있다.
  • 공식문서를 참조하면 다음과 같다.
  • 공식 문서에서의 설명을 보면 다음과 같다.

Untitled

Scrapy Tutorial - 다중페이지 크롤링

개요

  • 이번에는 Scrapy를 통해서 다중 페이지를 크롤링 하도록 한다.

Target 페이지

Untitled

프로젝트 시작

  • 프로젝트 시작은 다음과 같이 할 수 있다.
$ scrapy startproject multiCam_tutorial
New Scrapy project 'multiCam_tutorial', using template directory 'C:\Users\j2hoo\OneDrive\Desktop\your_project_folder\venv\Lib\site-packages\scrapy\templates\project', created in:
    C:\Users\j2hoo\OneDrive\Desktop\your_path\multiCam_tutorial

You can start your first spider with:
    cd multiCam_tutorial
    scrapy genspider example example.com
  • 해당 multiCam_tutorial 경로에서 다음 명령어를 실행하여 타겟 사이트를 설정한다.
$ scrapy genspider audible www.audible.com/search
Created spider 'audible' using template 'basic' in module:
  multiCam_tutorial.spiders.audible
  • audible.py 파일을 찾아 코드를 확인한다.