Programmings

강의 홍보

• 취준생을 위한 강의를 제작하였습니다.
• 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
  • 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
• [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

공지

제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다.

I. Matplotlib & Seaborn

(1) 기본 개요

Matplotlib는 파이썬 표준 시각화 도구라고 불리워지며 파이썬 그래프의 기본 토대가 된다고 해도 무방하다. 객체지향 프로그래밍을 지원하므로 세세하게 꾸밀 수 있다.

I. Motivation

오늘은 데이터 분석과 크게 관련이 없는 포스팅을 해보자. 오늘 깃허브에 꾸미려고 하는 것은 아래와 같다.

주로 깃허브를 올리는 시간은 언제인가? 그저 단순 재미로 포스팅을 해본다.

II. Prep Work

1. 첫번째, Gist를 클릭하여 활성화를 합니다. (https://gist.github.com/)
2. 두번째, 이제 토큰을 생성하자. 이 때 중요한 것은 rest & gist를 클릭한 뒤 생성을 해야 한다. (https://github.com/settings/tokens/new)

• Note에는 토큰 생성 목적을 기재하면 된다. (필자는 Productivity Box)라고 했다.
• Select Scope에서 rest & gist를 아래 그림과 같이 클릭하자.

I. 구글 클라우드 설정

본격적인 빅쿼리 실습에 앞서서, Python과 연동하는 예제를 준비하였다. 빅쿼리 시작에 앞서서 선행적으로 클라우드 사용을 해야 한다.

1. 만약 GCP 프로젝트가 없다면, 계정을 연동한다. Go to Cloud Resource Manager
2. 그리고, 비용결제를 위한 카드를 등록한다. Enable billing
3. 마지막으로 BigQuery API를 사용해야 하기 때문에 빅쿼리 API 사용허가를 내준다.Enable BigQuery

위 API를 이용하지 않으면 Python 또는 R과 연동해서 사용할 수는 없다. 자주 쓰는것이 아니라면 비용은 거의 발생하지 않으니 염려하지 않아도 된다. 비용관리에 대한 자세한 내용은 BigQuery 권장사항: 비용 관리에서 확인하기를 바란다.

강의 홍보

• 취준생을 위한 강의를 제작하였습니다.
• 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
  • 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
• [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

공지

제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다.

• 데이터는 코로나 데이터를 활용했다.

I. Overview

일부의 사람들이 R과 Python을 사용하지만, 대부분의 사람들은 엑셀을 사용한다. 피벗테이블은 모든 직장인이 알아야 하는 필수 용어로, 전체 데이터를 빠르게 요약해주는 일종의 skill이다.

1. 구글 클라우드 설정

본격적인 빅쿼리 실습에 앞서서, Python과 연동하는 예제를 준비하였다. 빅쿼리 시작에 앞서서 선행적으로 클라우드 사용을 해야 한다.

1. 만약 GCP 프로젝트가 없다면, 계정을 연동한다. Go to Cloud Resource Manager
2. 그리고, 비용결제를 위한 카드를 등록한다. Enable billing
3. 마지막으로 BigQuery API를 사용해야 하기 때문에 빅쿼리 API 사용허가를 내준다.Enable BigQuery

위 API를 이용하지 않으면 Python 또는 R과 연동해서 사용할 수는 없다. 자주 쓰는것이 아니라면 비용은 거의 발생하지 않으니 염려하지 않아도 된다. 비용관리에 대한 자세한 내용은 BigQuery 권장사항: 비용 관리에서 확인하기를 바란다.

공지

• 본 Tutorial은 교재 시작하세요 텐서플로 2.0 프로그래밍의 강사에게 국비교육 강의를 듣는 사람들에게 자료 제공을 목적으로 제작하였습니다.

• 강사의 주관적인 판단으로 압축해서 자료를 정리하였기 때문에, 자세하게 공부를 하고 싶으신 분은 반드시 교재를 구매하실 것을 권해드립니다.

• 본 교재 외에 강사가 추가한 내용에 대한 Reference를 확인하셔서, 추가적으로 학습하시는 것을 권유드립니다.

Tutorial

이전 강의가 궁금하신 분들은 아래에서 선택하여 추가 학습 하시기를 바랍니다.

• Google Colab Tensorflow 2.0 Installation
• Tensorflow 2.0 Tutorial ch3.3.1 - 난수 생성 및 시그모이드 함수
• Tensorflow 2.0 Tutorial ch3.3.2 - 난수 생성 및 시그모이드 함수 편향성
• Tensorflow 2.0 Tutorial ch3.3.3 - 첫번째 신경망 네트워크 - AND
• Tensorflow 2.0 Tutorial ch3.3.4 - 두번째 신경망 네트워크 - OR
• Tensorflow 2.0 Tutorial ch3.3.5 - 세번째 신경망 네트워크 - XOR
• Tensorflow 2.0 Tutorial ch4.1 - 선형회귀
• Tensorflow 2.0 Tutorial ch4.2 - 다항회귀
• Tensorflow 2.0 Tutorial ch4.3 - 딥러닝 네트워크를 이용한 회귀
• Tensorflow 2.0 Tutorial ch4.4 - 보스턴 주택 가격 데이터세트
• Tensorflow 2.0 Tutorial ch5.1 - 분류
• Tensorflow 2.0 Tutorial ch5.2 - 다항분류
• Tensorflow 2.0 Tutorial ch5.3 - Fashion MNIST
• Tensorflow 2.0 Tutorial ch6.1-2 - CNN 이론
• Tensorflow 2.0 Tutorial ch6.3 - Fashion MNIST with CNN 실습
• Tensorflow 2.0 Tutorial ch6.4 - 모형의 성능 높이기
• Tensorflow 2.0 Tutorial ch7.1 - RNN 이론 (1)
• Tensorflow 2.0 Tutorial ch7.1 - RNN 이론 (2)
• Tensorflow 2.0 Tutorial ch7.3 - 긍정, 부정 감성 분석
• Tensorflow 2.0 Tutorial ch7.4 - (1) 단어 단위 생성
• Tensorflow 2.0 Tutorial ch7.4 - (2) 단어 단위 생성
• Tensorflow 2.0 Tutorial ch8.1 - 텐서플로 허브
• Tensorflow 2.0 Tutorial ch8.2 - 전이 학습과 & Kaggle 대회
• Tensorflow 2.0 Tutorial ch8.3.1 - 컨볼루션 신경망을 사용한 텍스처 합성
• Tensorflow 2.0 Tutorial ch8.3.2 - 컨볼루션 신경망을 사용한 신경 스타일 전이
• Tensorflow 2.0 Tutorial ch9.1-2 - 오토인코더 & MNIST
• Tensorflow 2.0 Tutorial ch9.3 - 클러스터링

I. 개요

• 저해상도에서 고해상도의 이미지로 변환하는 것은 어려운 연산입니다.
• 픽셀로 구성된 이미지는 고해상도로 변환(확대)하면 이미지에서 사각형이 두드러져 보이는 것이 바로 초해상도(Super Resolution) 작업입니다.
• 전통적으로는 interpolation(보간) 등의 기법이 있지만, 선명함을 잃고 흐릿해지는 단점이 있습니다.
• 오토인코더로 초해상도 작업을 하는 과정을 진행합니다.
• 이 때, REDNet이라는 네트워크를 사용합니다.

II. REDNet¹

• REDNet은 Residual Encoder-Decoder Network의 약자이며, Residual은 ResNet등에서 사용하는 건너뛴 연결(skip-connection)입니다.
• 다수의 레이어가 중첩되는 구조에서 앞쪽의 정보를 잃어버리기 않기 위해 뒤쪽에 정보를 그대로 전달해줄 때 건너뛴 연결이 사용됩니다.
• 논문에서 사용한 이미지는 BSD (Berkeley Segmentation Dataset) 이며, 책에서도 동일하게 사용합니다.

# 텐서플로 2 버전 선택
try:
    # %tensorflow_version only exists in Colab.
    %tensorflow_version 2.x
except Exception:
    pass
import tensorflow as tf
import numpy as np
import pandas as pd
import tensorflow_hub as hub
import matplotlib.pyplot as plt
import cv2

III. 데이터 불러오기

• tf.keras.utils.get_file() 데이터를 불러옵니다.

tf.keras.utils.get_file('/content/bsd_images.zip', 'http://bit.ly/35pHZlC', extract=True)

Downloading data from http://bit.ly/35pHZlC
37527552/37520292 [==============================] - 0s 0us/step





'/content/bsd_images.zip'

!unzip /content/bsd_images.zip

Archive:  /content/bsd_images.zip
   creating: images/
   creating: images/test/
  inflating: images/test/100007.jpg  
  inflating: images/test/100039.jpg  
  .
  .
  .
  .
  inflating: images/val/97033.jpg    
  inflating: images/val/Thumbs.db    

• 이미지 경로 저장 및 확인을 합니다.

import pathlib
image_root = pathlib.Path('/content/images')
all_images_paths=list(image_root.glob('*/*'))
print(all_images_paths[:10])

[PosixPath('/content/images/val/62096.jpg'), PosixPath('/content/images/val/361010.jpg'), PosixPath('/content/images/val/Thumbs.db'), PosixPath('/content/images/val/54082.jpg'), PosixPath('/content/images/val/87046.jpg'), PosixPath('/content/images/val/38082.jpg'), PosixPath('/content/images/val/156065.jpg'), PosixPath('/content/images/val/33039.jpg'), PosixPath('/content/images/val/14037.jpg'), PosixPath('/content/images/val/159008.jpg')]

• 각 이미지의 경로는 root 디렉터리에서 glob() 함수를 사용해 하단의 모든 파일을 불러올 수 있습니다.
• 각 파일의 경로는 PosixPath라는 객체가 되는데, 이 객체에서 경로를 가져오기 위해서는 문자열로 변환하는 str()함수를 사용합니다.

(1) 이미지 시각화

• matplotlib.pyplot으로 확인합니다.

import PIL.Image as Image
import matplotlib.pyplot as plt

plt.figure(figsize=(12, 12))
for c in range(9):
  plt.subplot(3,3,c+1)
  plt.imshow(plt.imread(all_images_paths[c]))
  plt.title(all_images_paths[c])
  plt.axis('off')
plt.show()

/img/programming/2020/05/ch9_4_super_resolution/output_7_1.png

공지

본 Tutorial은 강사에게 강의를 듣는 과거-현재-미래 학생들을 위해 작성하였습니다.

이 글을 읽어주시는 분들에게 작은 도움이 되기를 바랍니다.

I. DataFrame의 개요

본 포스트는 프로그래밍과 R을 처음 배우는 사람을 위해 작성하였습니다. 짧게 읽어두시기를 바랍니다. 공부하실 때는 복잡하게 생각하지는 마시기를 바랍니다. 영어의 기본단어 및 문법을 배우듯이 그냥 받아들이시기를 바랍니다.

데이터프레임은 서로 다른 성질의 벡터가 모여 있는 집합이라고 할 수 있다.¹

(1) 데이터프레임 생성

이제 데이터프레임을 만들어보자. 어려운 것은 아니니 쉽게 따라 올 수 있을 것이다.

강의 홍보

• 취준생을 위한 강의를 제작하였습니다.
• 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다.
  • 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
• [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기

공지

제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다.

• 데이터는 코로나 데이터를 활용했다.

I. Overview

일부의 사람들이 R과 Python을 사용하지만, 대부분의 사람들은 엑셀을 사용한다. 피벗테이블은 모든 직장인이 알아야 하는 필수 용어로, 전체 데이터를 빠르게 요약해주는 일종의 skill이다.

공지

• 본 Tutorial은 교재 시작하세요 텐서플로 2.0 프로그래밍의 강사에게 국비교육 강의를 듣는 사람들에게 자료 제공을 목적으로 제작하였습니다.

• 강사의 주관적인 판단으로 압축해서 자료를 정리하였기 때문에, 자세하게 공부를 하고 싶으신 분은 반드시 교재를 구매하실 것을 권해드립니다.

• 본 교재 외에 강사가 추가한 내용에 대한 Reference를 확인하셔서, 추가적으로 학습하시는 것을 권유드립니다.

Tutorial

이전 강의가 궁금하신 분들은 아래에서 선택하여 추가 학습 하시기를 바랍니다.

• Google Colab Tensorflow 2.0 Installation
• Tensorflow 2.0 Tutorial ch3.3.1 - 난수 생성 및 시그모이드 함수
• Tensorflow 2.0 Tutorial ch3.3.2 - 난수 생성 및 시그모이드 함수 편향성
• Tensorflow 2.0 Tutorial ch3.3.3 - 첫번째 신경망 네트워크 - AND
• Tensorflow 2.0 Tutorial ch3.3.4 - 두번째 신경망 네트워크 - OR
• Tensorflow 2.0 Tutorial ch3.3.5 - 세번째 신경망 네트워크 - XOR
• Tensorflow 2.0 Tutorial ch4.1 - 선형회귀
• Tensorflow 2.0 Tutorial ch4.2 - 다항회귀
• Tensorflow 2.0 Tutorial ch4.3 - 딥러닝 네트워크를 이용한 회귀
• Tensorflow 2.0 Tutorial ch4.4 - 보스턴 주택 가격 데이터세트
• Tensorflow 2.0 Tutorial ch5.1 - 분류
• Tensorflow 2.0 Tutorial ch5.2 - 다항분류
• Tensorflow 2.0 Tutorial ch5.3 - Fashion MNIST
• Tensorflow 2.0 Tutorial ch6.1-2 - CNN 이론
• Tensorflow 2.0 Tutorial ch6.3 - Fashion MNIST with CNN 실습
• Tensorflow 2.0 Tutorial ch6.4 - 모형의 성능 높이기
• Tensorflow 2.0 Tutorial ch7.1 - RNN 이론 (1)
• Tensorflow 2.0 Tutorial ch7.1 - RNN 이론 (2)
• Tensorflow 2.0 Tutorial ch7.3 - 긍정, 부정 감성 분석
• Tensorflow 2.0 Tutorial ch7.4 - (1) 단어 단위 생성
• Tensorflow 2.0 Tutorial ch7.4 - (2) 단어 단위 생성
• Tensorflow 2.0 Tutorial ch8.1 - 텐서플로 허브
• Tensorflow 2.0 Tutorial ch8.2 - 전이 학습과 & Kaggle 대회
• Tensorflow 2.0 Tutorial ch8.3.1 - 컨볼루션 신경망을 사용한 텍스처 합성
• Tensorflow 2.0 Tutorial ch8.3.2 - 컨볼루션 신경망을 사용한 신경 스타일 전이
• Tensorflow 2.0 Tutorial ch9.1-2 - 오토인코더 & MNIST

I. 개요

• 오토인코더(AutoEncoder)는 입력에 대한 출력을 학습해야 한다는 점은 기존 지도학습 네트워크와 동일합니다.
• 그러나 그 출력이 입력과 동일하다는 점이 조금 다릅니다.
• 오토인코더는 자기 자신을 재생성하는 네트워크입니다.

Intro

A picture is worth a thousand words — English Language Adage The simple graph has brought more information to the data analyst’s mind than any other device. — John Tukey

한장의 그림이 수천단어보다 가치가 있다는 영어속담과, 명료한 시각화가 데이터분석가에게 다른 어떤 도구보다 더 많은 정보를 제공한다는 유명한 데이터 과학자의 조언. 핵심은 시각화이다.

본 장에서는 ggplot2 패키지를 활용한 시각화를 먼저 보여줄 것이다. 먼저 간단하게 ggplot2 패키지에 소개하자면 Grammar of Graphics¹의 철학을 담아서 R 생태계에서 유명한 학자 중, Hadley Wickham에 의해 주도적으로 개발되었다. 그래프에도 문법이 있다는 패키지의 철학 아래, R의 시각화는 괄목할만한 발전을 이루었고 이는 R의 대중화에도 큰 영향을 끼쳤다.