MLOps

AirFlow ch01. 개요

인프런 강의 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 공지 Airflow 2.0 원서 나온 것을 공부용으로 활용합니다. Airflow Project 이 책에 나온 내용을 Chapter별로 요약하여 정리하려고 한다. 원서 구매 페이지는 아래와 같다. 구매 페이지: Data Pipelines with Apache Airflow Chapter 1. Apache Airflow Introduction Figure 1.

AirFlow 설치 및 실행 with M1

인프런 강의 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 미니 프로젝트 개요 목적: Airflow와 빅쿼리를 활용하여 ETL 및 대시보드를 만들어보는 과정을 설계 환경: MacOS M1 Part I. Docker and Airflow Docker와 Airflow를 설치 및 실행한다. 필자는 가상환경을 선정하고, 그 위에 도커를 추가로 설치하였다.

[MLOps] Weight & Biases 소개 및 사용 방법

인프런 강의 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 1줄 요약 wandb로 MLOps를 배워봅니다. References Weight & Biases(wandb) 사용법(wandb 설치 및 설명) by greeksharifa 초기 설정 싸이트: https://wandb.ai/site 회원가입을 한 뒤, 가장 먼저 나오는 화면은 아래 대시보드 입니다. 참조: 필자는 Mac M1을 사용하는 중입니다.

Custom Containers with AI Platform Training

인프런 강의 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 1줄 요약 UCI Machine Learning Repository 데이터를 활용해서 MLOps를 구축해본다. 본 장에서는 MLOps의 간단한 흐름을 파악하는데 주력한다. 실제로는 하나부터 열까지 모든 코드를 따 짜야 한다. 관련 내용은 추후에 여유가 될 때 업데이트를 해보도록 한다. 감사 인사 God Google 감사합니다.

GCP Kubernetes Engine을 통한 배포(2)

인프런 강의 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 1줄 요약 (GCP) GKE를 활용하여 nginx를 실행해보자. Step 1. GCP Shell 활성화 You can list the active account name with this command: (your_project_id)$ gcloud auth list Credentialed Accounts ACTIVE ACCOUNT * student-04-e46af1f1cd7b@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT` You can list the project ID with this command: (your_project_id)$ gcloud config list project [core] project = qwiklabs-gcp-04-79efc1e4ae0f Your active configuration is: [cloudshell-24251] Step 2.

GCP Kubernetes Engine을 통한 배포(1)

인프런 강의 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 1줄 요약 (GCP) GKE를 활용하여 nginx를 실행해보자. Step 1. GKE Cluster Setup 네비게이션 메뉴에서 Kubernetes Engine > Clusters를 클릭합니다. 위 화면에서 Create를 클릭합니다. 그 이후에, Cluster 이름은 standard-cluster-1으로 바꾸고, Zone은 us-central1-a로 바꿉니다. 나머지는 모두 Default로 그냥 놔둡니다.

Docker Started using Cloud Build

인프런 강의 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 1줄 요약 (GCP) Cloud Build를 활용하여 Docker를 활용해보자. Step 1. API Enabled 클라우드 네비게이션 메뉴에서 APIs & Services를 클릭한다. Enable APIs and Services를 클릭한다. Search for APIs & Services에서 Cloud Build를 입력한다. Cloud Build API를 클릭한 후, Enable 버튼을 클릭한다.

Introduction to MLOps

인프런 강의 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 1줄 요약 MLOps를 소개해본다. What is MLOps? 최근 기술 트렌드 중의 Hot한 주제는 DevOps이다. Dev는 Development의 약어이며, Ops는 Operation의 약자이다. 과거에는 개발팀과 운영팀 두개로 존재하는 것이 상식이었지만, 가장 큰 문제는 Communication 문제! 이러한 문제점을 해결하기 위해 나온 방법론이 DevOps이다.