Nasdaq Data Link를 활용한 데이터 수집

개요 Nasdaq Data Link은 금융 및 경제 데이터를 제공하는 플랫폼으로, 특히 투자자, 연구자, 그리고 데이터 애널리스트들에게 유용 기존 quandl에서 2018년에 Nasdaq에 인수되었으며, 주식, 채권, 선물, 외환, 경제 지표 등 다양한 데이터를 제공 그러나 Free 데이터에서 유의미한 데이터를 찾기에는 부족함을 느낌 Nasdaq Data Link의 주요 기능 데이터 제공 금융 시장 데이터 (주식, 상품, 금리 등) 경제 데이터 (GDP, 실업률, 소비자 물가 지수 등) 대체 데이터 (소셜미디어 트렌드, 위성 이미지 분석, 물류 데이터 등) API 기반 접근 Python, R, Excel 등 다양한 도구에서 API를 사용해 데이터를 불러올 수 있음.

Kaggle ML Submission 클래스 만들기

개요 취업 준비생 들에게 필요한 캐글 연습 코드 클래스로 구현함 학습에서 제출까지 자동화하는 것에 목적을 둠 클래스에 대한 기본적인 이해가 있다는 전제하에 작성 전체 코드는 다음과 같다. import numpy as np import pandas as pd import shap import matplotlib.pyplot as plt # 데이터 처리 및 모델링 라이브러리 from sklearn.model_selection import train_test_split, cross_val_score from sklearn.preprocessing import StandardScaler, LabelEncoder, OrdinalEncoder from sklearn.impute import SimpleImputer from sklearn.metrics import ( mean_squared_error, mean_absolute_error, r2_score, mean_absolute_percentage_error ) from sklearn.

Windows Microsoft C++ Build Tools 설정

개요 Python 라이브러리 설치 시, 가끔 C++ 라이브러리 설치가 필요할 수 있다. 위와 같이 에러가 발생할 때 C++ 라이브러리를 설치를 한다. 설치방법 사이트 : https://visualstudio.microsoft.com/ko/visual-cpp-build-tools/ Build Tools 다운로드 버튼 클릭 후 관리자 권한으로 실행 아래와 같이 C++를 사용한 데스크톱 개발 선택 후, 설치 설치하는 데 다소 시간이 필요함 설치가 완료되면 재부팅을 한다. 파이썬 라이브러리 다시 설치 중간에 보면 cp312가 보이는데, C++을 활용해서 설치가 되었다는 것을 의미한다.

Cursor AI 소개 및 설치

웹사이트 https://www.cursor.com/ 회원가입 Settings 가격정책(Pricing) 프로그램 설치 (Windows) 기존에 Visual Studio Code가 설치가 되어 있어야 한다. 실행 또는 (관리자 권한)으로 실행 Continue 버튼 선택 Use Extensions 선택 Data Preferences는 독자 취향에 맞게 선택한다. 필자는 Help Improve Cursor를 선택한다. Login 개인 계정 확인 후, Yes, Log in 버튼 클릭 Visual Studio Code 확인 이제 Visual Studio Code에 Cursor AI가 업데이트가 되었는지 확인해본다. 그러기 위해서는, 먼저 Github에서 새로운 Repository를 하나 생성한다. 필자는 cursor_ai_project로 명명했다.

Crontab으로 Git Commit Automation with sh 파일 on M1

개요 Mac Crontab으로 SH 파일을 실행하도록 한다. SH 파일 작성 주요 내용은 아래와 같이 작성한다. (파일명 : deploy.sh) #!/bin/bash echo "Git Push Starting..." cd /Users/evan/Desktop/alphaco_test # Check out repo git add -A git commit -m "Automated commit on $(date '+%Y-%m-%d %H:%M:%S')" git push 수동 업로드 수동으로 업로드 하기 위해 파일 권한을 열어준다. 777은 소유자, 그룹, 다른 모든 사용자에게 읽기, 쓰기, 실행 권한 부여하는 명령어를 말한다. chmod 777 deploy.sh 실행 해당 파일이 있는 경로에서 deploy.

Deep Learning Loss Function

딥러닝 손실 함수 (Loss Function) 개요 딥러닝에서 손실 함수는 모델의 예측과 실제 값 사이의 차이를 측정하는 중요한 요소. 다양한 종류의 손실 함수가 있으며, 문제의 특성에 따라 적절한 함수를 선택해야 함. 주요 손실 함수 설명 평균 제곱 오차 (Mean Squared Error, MSE) 유형 : 회귀 공식 : $$ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$ 설명: $y_i$ : 실제 값 $\hat{y}_i$ : 예측 값 $n$ : 데이터 포인트의 수 사용 용도

Docker-Compose와 Dockerfile을 활용한 Flask-MySQL 연동 예제

개요 Docker-Compose와 Dockerfile의 주요 기능을 이해한다. 각 파일의 위치와 주요 기능을 이해한다. 전체 프로젝트 파일 디렉터리 본 프로젝트의 전체 코드는 다음과 같다. 실제 코드 작성을 해야하는 곳은 다음과 같다. app.py requirements.txt init.sql docker-compose.yml Dockerfile docker_kubernetes_flask/ ├── app/ │ ├── __init__.py │ ├── app.py │ └── requirements.txt ├── db/ │ ├── init.sql │ └── data/ (This will be created by Docker) ├── docker-compose.yml └── Dockerfile 사전준비 사전에 Docker는 Desktop 설치가 되어 있다고 가정한다.

Streamlit on Google Colab

개요 개발환경설정이 어려운 환경에서 Google Colab 상에서 Streamlit 설치 및 실행을 익히고자 한다. 주로 강의 목적으로 사용하기를 바란다. Streamlit 라이브러리 설치 아래 코드를 활용하여 streamlit 라이브러리 설치 !pip install -q streamlit Streamlit 코드 작성 샘플 아래와 같이 코드를 작성 후, app.py로 내보내기를 한다. magics from Jupyter : [Jupyter’s magics page](https://nbviewer.org/github/ipython/ipython/blob/1.x/examples/notebooks/Cell Magics.ipynb) %%writefile app.py import streamlit as st import plotly.graph_objs as go from plotly.subplots import make_subplots import seaborn as sns @st.cache_data def load_data(): df = sns.

Oracle VM Box 양방향 복사 붙이기

개요 VirtualBox를 통해 복사 붙이기 등을 하려고 함 사전작업 1 - 우분투 패키지 업그레이드 터미널을 열고 아래 코드를 순차적으로 입력 sudo apt update 업그레이 명령어 입력 sudo apt upgrade 사전작업 2 - 게스트 확장 설치 우선 주요 라이브러리 설치 진행 sudo apt install gcc make perl 게스트 확장 CD 이미지 삽입 메뉴 클릭 해당 디렉터리를 열고, 마우스 우클릭 > 터미널에서 열기 실행 ls 명령어 실행 VBoxLinuxAdditions.run 파일이 있는지 확인 ls 파일 있는 지 확인하였다면 해당 파일 실행 sudo apt install bzip2 sudo .

Ubuntu install on M1

개요 M1에서 Ubuntu를 설치하는 방법에 대해 기술한다. Ubuntu 24.04 LTS 다운로드 Ubuntu Download를 진행한다. 다운로드 받을 시, arm으로 다운로드 받아야 한다. 다른 아키텍처로 다운로드 받을 시 리눅스가 활성화가 되지 않는다. 사이트 : https://ubuntu.com/download/server/arm 최신버전의 경우 잘 되지 않을수도 있다. 따라서 22.04.04 버전으로 변경하였다. 사이트 : https://cdimage.ubuntu.com/releases/22.04.4/release/ UTM 다운로드 사이트 : https://mac.getutm.app/ UTM 가상머신 생성 UTM을 실행하면 아래와 같은 화면이 나온다. Create a New Virtual Machine을 선택한다. 아래화면에서 Virtualize를 선택한다. 아래화면에서 Linux를 선택한다.