Amazon EMR console창에 있는 Quick Options을 사용한다. Quick Options에 있는 다양한 절차들에 대해 확인이 필요하면 Summary of Quick Options에서 확인해본다.AWS에 있는 AWS Management Console을 클릭하여 실행하도록 한다. (아래 그림 참조)
제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다.
Matplotlib는 파이썬 표준 시각화 도구라고 불리워지며 파이썬 그래프의 기본 토대가 된다고 해도 무방하다. 객체지향 프로그래밍을 지원하므로 세세하게 꾸밀 수 있다.
Seaborn 그래는 파이썬 시각화 도구의 고급 버전이다. Matplotlib에 비해 비교적 단순한 인터페이스를 제공하기 때문에 초보자도 어렵지 않게 배울 수 있다.
default log location을 사용하지만, 원하는 경우에는 custom location을 지정할 수 있다.bucket과 folder names 다음과 같은 규칙을 적용한다.AWS 계정에서 독특(unique)해야 한다는 점을 기억해야 한다.bucket을 생성하는 예제를 해본다.Amazon Simple Storage Service Getting Started Guide문서에서 Create a Bucket을 찾아서 확인해본다.You are not charged for creating a bucket. You are charged only for storing objects in the bucket and for transferring objects in and out of the bucket. The charges that you incur through following the examples in this guide are minimal (less than $1). For more information about storage charges, see Amazon S3 Pricing
Amazon EMR은 Apache 하둡과 Spark를 쉽고 빠르며 비용 효율적으로 실행하여 대량의 데이터를 처리할 수 있게 해주는 관리형 서비스입니다.Amazon EMR은 Presto, Hive, Pig, HBase 등과 같은 강력하고 입증된 하둡 도구를 지원한다.Amazon EMR 클러스터를 시작한 다음, HiveQL 스크립트를 사용하여 Amazon S3 버킷에 저장된 샘플 로그 데이터를 처리한다.
HiveQL은 데이터 웨어하우징과 분석을 위한 SQL 유사 스크립트 언어이다.1.05 USD의 비용이 들 것으로 예상됩니다. 이는 AWS 프리 티어 한도 내에서 사용하고, 권장 구성을 따르며, 프로젝트에 사용된 모든 리소스를 생성 후 1시간 이내에 종료한다고 가정할 때의 비용입니다. 고객의 사용 사례에 따라 다른 구성이 필요할 수 있으며 이는 청구서에 영향을 미칠 수 있습니다. 요금 계산기를 사용하면 요구 사항에 맞춰 비용을 추정할 수 있습니다.꼭, 1시간 이내에 종료한다사진 캡쳐하는 것도 좋다.이제 본격적으로
AWS에서 Hadoop을 구성해보자.
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
Pandas는 panel data의 의미를 가지고 있다.관계형(Relational) 또는 레이블링된(Labeling)된 데이터를 보다 쉽게, 직관적으로 작업할 수 있도록 설계되어 있다.Python에서 데이터 분석을 수행하기 위한 매우 기초적이며 높은 수준의 문법을 제공한다.Pandas는 크게 Series & DataFrame을 다룰 수 있도록 기초 문법을 제공하고 있다.Pandas가 다루는 여러 종류의 데이터를 확인해보자.import pandas as pd
print(pd.__version__)
1.0.3
Pandas가 제공하는 다양한 기능은 다음과 같지만, 본 튜토리얼에서는 Sample 위주로 다루도록 한다.Series, DataFrame 등이 자동으로 데이터를 계산에서 정렬 가능Python 및 NumPy 데이터 구조에서 색인이 다른 데이터를 DataFrame 개체로 쉽게 변환Pandas를 활용한 Tutorial을 확인해보자.pd.set_option('display.max_columns', 500)
pd.set_option('display.max_rows', 500)
Series, DataFrame)
Series를 만들어보자.temp_series = pd.Series([1,2,3,5,8,13,21])
print(temp_series)
0 1
1 2
2 3
3 5
4 8
5 13
6 21
dtype: int64
Series에 있는 데이터와 함께 DataFrame을 만든다.series_df = pd.DataFrame({
"No":range(1,5),
"날짜":pd.Timestamp('20200601'),
"출석점수":pd.Series(5, index=list(range(4)), dtype='float64'),
"등급":pd.Categorical(["A등급", "B등급", "C등급", "D등급"]),
"구분":"학점"
})
print(series_df)
No 날짜 출석점수 등급 구분
0 1 2020-06-01 5.0 A등급 학점
1 2 2020-06-01 5.0 B등급 학점
2 3 2020-06-01 5.0 C등급 학점
3 4 2020-06-01 5.0 D등급 학점
NaN으로 채울 뿐이다.dict_df = [{'가': '사과', '나': '볼'},{'가': '비행기', '나': '방망이', '다': '고양이'}]
dict_df = pd.DataFrame(dict_df)
print(dict_df)
가 나 다
0 사과 볼 NaN
1 비행기 방망이 고양이
sdf = {
'국가':['한국', '미국', '일본'],
'ISO-Code':[1,2,3],
'지역': [4180.69, 4917.94, 454.07,],
'위치': ["서울", "LA", "동경"]
}
sdf = pd.DataFrame(sdf)
print(sdf)
국가 ISO-Code 지역 위치
0 한국 1 4180.69 서울
1 미국 2 4917.94 LA
2 일본 3 454.07 동경
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data'
df = pd.read_csv(url)
print(df.head(2))
39 State-gov 77516 Bachelors 13 Never-married \
0 50 Self-emp-not-inc 83311 Bachelors 13 Married-civ-spouse
1 38 Private 215646 HS-grad 9 Divorced
Adm-clerical Not-in-family White Male 2174 0 40 \
0 Exec-managerial Husband White Male 0 0 13
1 Handlers-cleaners Not-in-family White Male 0 0 40
United-States <=50K
0 United-States <=50K
1 United-States <=50K
columns = ['age', 'workclass', 'fnlwgt', 'education', 'education_num',
'marital_status', 'occupation', 'relationship', 'ethnicity',
'gender','capital_gain','capital_loss','hours_per_week','country_of_origin','income']
df2 = pd.read_csv(url, names=columns)
print(df2.head(2))
age workclass fnlwgt education education_num \
0 39 State-gov 77516 Bachelors 13
1 50 Self-emp-not-inc 83311 Bachelors 13
marital_status occupation relationship ethnicity gender \
0 Never-married Adm-clerical Not-in-family White Male
1 Married-civ-spouse Exec-managerial Husband White Male
capital_gain capital_loss hours_per_week country_of_origin income
0 2174 0 40 United-States <=50K
1 0 0 13 United-States <=50K
info() 함수를 사용하면 데이터의 일반적인 정보를 확인할 수 있다.print(df2.info())
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 32561 entries, 0 to 32560
Data columns (total 15 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 age 32561 non-null int64
1 workclass 32561 non-null object
2 fnlwgt 32561 non-null int64
3 education 32561 non-null object
4 education_num 32561 non-null int64
5 marital_status 32561 non-null object
6 occupation 32561 non-null object
7 relationship 32561 non-null object
8 ethnicity 32561 non-null object
9 gender 32561 non-null object
10 capital_gain 32561 non-null int64
11 capital_loss 32561 non-null int64
12 hours_per_week 32561 non-null int64
13 country_of_origin 32561 non-null object
14 income 32561 non-null object
dtypes: int64(6), object(9)
memory usage: 3.7+ MB
None
Pandas를 활용한 데이터 생성 및 파일 입출력에 대해서 배우는 시간을 가졌다.Kaggle 데이터를 활용하여 Pandas 함수를 응용할 것이다.Mukhiya, Suresh Kumar, and Usman Ahmed. “Hands-On Exploratory Data Analysis with Python.” Packt Publishing, Mar. 2020, www.packtpub.com/data/hands-on-exploratory-data-analysis-with-python.
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다.
NumPy는 C언어로 구성되었으며, 고성능의 수치계산을 위해 나온 패키지이며, Numerical Python의 약자이다.Python을 활용한 데이터 분석을 수행할 때, 그리고 데이터 시각화나 전처리를 수행할 때, NumPy는 매우 자주 사용되기 때문에 한번쯤은 꼭 다듬고 가는 것이 중요하다.import numpy as np
print(np.__version__)
1.18.4
savetxt, loadtxt, 그리고 genfromtxt 함수를 활용하여 객체를 불러오는 예제를 실습한다.# 객체 생성 후 저장하기
x = np.arange(0.0, 50.0, 1.0)
print(x)
np.savetxt('data.out', x, delimiter=',')
[ 0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17.
18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35.
36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49.]
!ls
data.out sample_data
data.out 파일이 생성된 것을 확인할 수 있다.# `data.out` 불러오기
z = np.loadtxt('data.out', unpack=True)
print(z)
[ 0. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17.
18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35.
36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49.]
data.out을 불러와서 z객체에 저장된 것을 확인할 수 있다.# genfromtxt 활용
my_array2 = np.genfromtxt('data.out',
skip_header=1,
filling_values=-999)
print(my_array2)
[ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18.
19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36.
37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49.]
z객체와 마찬가지로 my_array2도 객체가 정상적으로 생성된 것을 확인할 수 있다.
AWS는 모든 IT 개발자에게 필수 Skill set과 같다.개발블로그나 github에 정리하는 습관을 가지는 것을 추천한다.기본 플랜을 선택한다.
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다.
탐색작 자료분석(EDA: Exploratory Data Analysis)을 위해 가장 기초적인 뼈대가 되는 NumPy에 대해서 학습하도록 합니다.numpy 라이브러리를 불러옵니다.# import numpy
import numpy as np
print(np.__version__)
1.18.4
numpy 버전은 1.18.4로 확인되고 있습니다.my_1D_array = np.array([1,3,5,7])
print(my_1D_array)
type(my_1D_array)
[1 3 5 7]
numpy.ndarray
my_2D_array = np.array([[1, 2, 3, 4], [2, 4, 9, 16], [4, 8, 18, 32]])
print(my_2D_array)
type(my_2D_array)
[[ 1 2 3 4]
[ 2 4 9 16]
[ 4 8 18 32]]
numpy.ndarray
my_3D_array = np.array([[[ 1, 2 , 3 , 4],[ 5 , 6 , 7 ,8]], [[ 1, 2, 3, 4],[ 9, 10, 11, 12]]])
print(my_3D_array)
type(my_3D_array)
[[[ 1 2 3 4]
[ 5 6 7 8]]
[[ 1 2 3 4]
[ 9 10 11 12]]]
numpy.ndarray
def check_array_info(arr_obj):
if isinstance(arr_obj, (np.ndarray)):
print("The current dimension is :", arr_obj.ndim)
print("The current shape is :", arr_obj.shape)
print("The current dtype is :", arr_obj.dtype)
print("The current value is :\n", arr_obj)
check_array_info(my_1D_array)
The current dimension is : 1
The current shape is : (4,)
The current dtype is : int64
The current value is :
[1 3 5 7]
check_array_info(my_2D_array)
The current dimension is : 2
The current shape is : (3, 4)
The current dtype is : int64
The current value is :
[[ 1 2 3 4]
[ 2 4 9 16]
[ 4 8 18 32]]
check_array_info(my_3D_array)
The current dimension is : 3
The current shape is : (2, 2, 4)
The current dtype is : int64
The current value is :
[[[ 1 2 3 4]
[ 5 6 7 8]]
[[ 1 2 3 4]
[ 9 10 11 12]]]
# Array of ones
ones = np.ones((3,4))
check_array_info(ones)
The current dimension is : 2
The current shape is : (3, 4)
The current dtype is : float64
The current value is :
[[1. 1. 1. 1.]
[1. 1. 1. 1.]
[1. 1. 1. 1.]]
# Array of zeros
zeros = np.zeros((1,2,3), dtype=np.int16)
check_array_info(zeros)
The current dimension is : 3
The current shape is : (1, 2, 3)
The current dtype is : int16
The current value is :
[[[0 0 0]
[0 0 0]]]
# Array with random values
np_random = np.random.random((2,2))
check_array_info(np_random)
The current dimension is : 2
The current shape is : (2, 2)
The current dtype is : float64
The current value is :
[[0.47775118 0.60277821]
[0.01818544 0.23499141]]
# Empty Array
empty_array = np.empty((3,2))
check_array_info(empty_array)
The current dimension is : 2
The current shape is : (3, 2)
The current dtype is : float64
The current value is :
[[2.31101775e-316 0.00000000e+000]
[0.00000000e+000 0.00000000e+000]
[0.00000000e+000 0.00000000e+000]]
# Full Array
full_array = np.full((2,2), 7)
check_array_info(full_array)
The current dimension is : 2
The current shape is : (2, 2)
The current dtype is : int64
The current value is :
[[7 7]
[7 7]]
# Array of evenly_spaced values
even_spaced_array = np.arange(10, 25, 5)
check_array_info(even_spaced_array)
The current dimension is : 1
The current shape is : (3,)
The current dtype is : int64
The current value is :
[10 15 20]
even_spaced_array2 = np.linspace(0, 2, 9)
check_array_info(even_spaced_array2)
The current dimension is : 1
The current shape is : (9,)
The current dtype is : float64
The current value is :
[0. 0.25 0.5 0.75 1. 1.25 1.5 1.75 2. ]
check_memory_info라는 함수를 만들어보자.def check_memory_info(arr_obj):
if isinstance(arr_obj, (np.ndarray)):
print("The current size is :", arr_obj.size)
print("The current flags is :", arr_obj.flags)
print("The current itemzise is :", arr_obj.itemsize)
print("The current total consumed bytes is :", arr_obj.nbytes)
size는 element의 전체 개수를 의미한다.flags는 memory layout의 정보를 출력한다.itemsize는 bytes 당 한 배열의 길이를 출력한다.nbytes는 객체가 소비하는 전체 bytes를 출력한다.check_memory_info(my_1D_array)
The current size is : 4
The current flags is : C_CONTIGUOUS : True
F_CONTIGUOUS : True
OWNDATA : True
WRITEABLE : True
ALIGNED : True
WRITEBACKIFCOPY : False
UPDATEIFCOPY : False
The current itemzise is : 8
The current total consumed bytes is : 32
check_memory_info(my_2D_array)
The current size is : 12
The current flags is : C_CONTIGUOUS : True
F_CONTIGUOUS : False
OWNDATA : True
WRITEABLE : True
ALIGNED : True
WRITEBACKIFCOPY : False
UPDATEIFCOPY : False
The current itemzise is : 8
The current total consumed bytes is : 96
check_memory_info(my_3D_array)
The current size is : 16
The current flags is : C_CONTIGUOUS : True
F_CONTIGUOUS : False
OWNDATA : True
WRITEABLE : True
ALIGNED : True
WRITEBACKIFCOPY : False
UPDATEIFCOPY : False
The current itemzise is : 8
The current total consumed bytes is : 128
NumPy는 파이썬에서 다루는 데이터과학에서 다루는 매우 중요한 토대가 되는 라이브러이이다.NumPy를 활용한 배열에 대해 학습하였다.Array를 다양하게 만들어보고, Array가 가지고 있는 다양한 정보를 확인할 수 있는 여러 함수에 대해 익히는 시간을 가졌다.Broadcasting이라는 기법을 학습할 것이다.Mukhiya, Suresh Kumar, and Usman Ahmed. “Hands-On Exploratory Data Analysis with Python.” Packt Publishing, Mar. 2020, www.packtpub.com/data/hands-on-exploratory-data-analysis-with-python.
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.
제 수업을 듣는 사람들이 계속적으로 실습할 수 있도록 강의 파일을 만들었습니다. 늘 도움이 되기를 바라며. 참고했던 교재 및 Reference는 꼭 확인하셔서 교재 구매 또는 관련 Reference를 확인하시기를 바랍니다.
Matplotlib는 파이썬 표준 시각화 도구라고 불리워지며 파이썬 그래프의 기본 토대가 된다고 해도 무방하다. 객체지향 프로그래밍을 지원하므로 세세하게 꾸밀 수 있다.
스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다.# pandas 불러오기
import pandas as pd
# key:value 형태로 딕셔너리를 만들고 temp_dic으로 저장
temp_dic = {'evan': 30, 'chloe': 27}
print(temp_dic)
{'evan': 30, 'chloe': 27}
# 시리즈로 변환하고 출력값 확인
data = pd.Series(temp_dic)
print(data)
evan 30
chloe 27
dtype: int64
evan과 chloe이다.import pandas as pd
temp_list = ['2020-05-29', 1.11, '가나다', 'ABC', 100, True]
data = pd.Series(temp_list)
print(data)
0 2020-05-29
1 1.11
2 가나다
3 ABC
4 100
5 True
dtype: object
import numpy as np
import matplotlib.pyplot as plt
N = 5
menMeans = (20, 35, 30, 35, 27)
womenMeans = (25, 32, 34, 20, 25)
menStd = (2, 3, 4, 1, 2)
womenStd = (3, 5, 2, 3, 3)
ind = np.arange(N) # the x locations for the groups
width = 0.35 # the width of the bars: can also be len(x) sequence
p1 = plt.bar(ind, menMeans, width, yerr=menStd)
p2 = plt.bar(ind, womenMeans, width,
bottom=menMeans, yerr=womenStd)
plt.ylabel('Scores')
plt.title('Scores by group and gender')
plt.xticks(ind, ('G1', 'G2', 'G3', 'G4', 'G5'))
plt.yticks(np.arange(0, 81, 10))
plt.legend((p1[0], p2[0]), ('Men', 'Women'))
plt.show()
