VSCode - Remote SSH 설치 putty 같은 SSH 툴로 vi 에디터 이용해서 수정 매우 불편함 vscode에서 직접 EC2에 접속하도록 한다. AWS Extension 확장팩 설치 아래와 같이 확장팩을 설치한다. Remote SSH Extension 확장팩 설치 Remote - SSH 확장팩을 아래와 같이 설치를 진행하도록 한다. 설치가 완료가 되면 SSH 연결할 호스트를 입력한다. ssh [계정]@[ip주소] ssh aa@1.1.1.1 /User/evan/.ssh/config 선택한다. 환경설정 config 파일을 연다. 설정 옵션 클릭 > ~/.ssh/config 클릭 config 파일이 열리는지 확인한다. config 파일 작성 / 수정 Host : 주소 이름 (띄어쓰기 금지) 변경 가능 HostName : IP/DNS 부여받은 IP를 입력 User : 계정 이름 Port : 연결할 포트 번호를 말하며, 기본포트는 22이다.
멀티캠퍼스 AWS 서버 관련 정리 실습용 서버 실행 https://console.aws.amazon.com/console/home 계정 ID(12자리) 또는 계정 별칭 : your account ID : your id / PW : your password 실습용 서버 사용자 정보 참조하여 로그인 (강의 때 공유)
비밀번호 변경
본인 비밀번호는 반드시 기억한다. (강사비번 : ****) Slack 강사 DM으로 남겨주세요. EC2 실행 우측 상단 리전 정보를 ‘오사카’로 변경 후 서비스 검색창에서 EC2 검색 변경된 상태에서 EC2 검색 위 서비스창에서 EC2 클릭 및 아래 화면에서 실행 표시된 인스턴스 실행 장비할당 관련 이름(Name) 순으로 정렬 후 할당된 서버 선택 (강의 때 참조) 필수 확인 서버의 경우 수업 시작 30분 전인 08:30부터 19시 까지 사용이 가능합니다.
Bucket 만들기 Bucket을 만들어보도록 한다. import boto3 print(boto3.__version__) 1.23.5 bucket = boto3.resource('s3') response = bucket.create_bucket( Bucket = "your_bucket_name", ACL="private", # public-read CreateBucketConfiguration = { 'LocationConstraint' : 'ap-northeast-2' } ) print(response) s3.Bucket(name='your_bucket_name') 버킷 대시보드에서 실제 Bucket이 만들어졌는지 확인한다. Client Bucket 이번에는 client 버킷을 생성한다. client = boto3.client('s3') response = client.create_bucket( Bucket = "your_bucket_name", ACL = "private", CreateBucketConfiguration = { 'LocationConstraint' : 'ap-northeast-2' } ) print(response) {'ResponseMetadata': {'RequestId': '1X0BAXRG653Q7Y61', 'HostId': 'WwKyxNBcd1V9x6D/WZn8twMKSWKBnkwVCPWtvarZvyNSSvqr7Q77J6OFAdWuYAwiv/nQfXoW/0U=', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amz-id-2': 'WwKyxNBcd1V9x6D/WZn8twMKSWKBnkwVCPWtvarZvyNSSvqr7Q77J6OFAdWuYAwiv/nQfXoW/0U=', 'x-amz-request-id': '1X0BAXRG653Q7Y61', 'date': 'Wed, 25 May 2022 03:16:52 GMT', 'location': 'http://your_bucket_name.
라이브러리 불러오기 기 설치된 라이브러리를 불러오도록 한다. import boto3 print(boto3.__version__) 1.23.5 IAM User 관련 주요 코드 다음 코드는 유저를 생성하는 코드이다. def create_user(username): iam = boto3.client('iam') response = iam.create_user(UserName=username) print(response) create_user('testuser2fromwsl2') {'User': {'Path': '/', 'UserName': 'testuser2fromwsl2', 'UserId': 'AIDAVRRRQ3HFXFQPOOY7Q', 'Arn': 'arn:aws:iam::381282212299:user/testuser2fromwsl2', 'CreateDate': datetime.datetime(2022, 5, 24, 5, 30, 6, tzinfo=tzutc())}, 'ResponseMetadata': {'RequestId': 'd5fa242b-9aa9-4ad9-a75a-ed23e041d4ba', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amzn-requestid': 'd5fa242b-9aa9-4ad9-a75a-ed23e041d4ba', 'content-type': 'text/xml', 'content-length': '495', 'date': 'Tue, 24 May 2022 05:30:05 GMT'}, 'RetryAttempts': 0}} 이번에는 모든 사용자를 가져오는 코드를 작성한다.
개요 윈도우 WSL2에서 AWS 개발을 위한 기본 개발환경 설정을 진행한다. WSL2 설치 WSL2 설치 및 사용법은 다음 링크를 통해서 확인한다. (여기서 설치법은 다루지 않는다!) URL : https://www.lainyzine.com/ko/article/how-to-install-wsl2-and-use-linux-on-windows-10/ Restart WSL2 WSL2 처음 작업할 때, 실행한다. exec $SHELL WSL2 주요 필수 패키지 설치 Python 3.8 버전을 설치한다. sudo apt update sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt install python3.7 Python 버전은 다음과 같다. $ python3 --version Python 3.8.10 만약 Python 버전 변경이 안되면 전체 삭제하고 진행한다.
한줄 요약 생각보다 쉽지 않기 때문에 Windows로 하기 보다는 WSL2로 하는 것을 권한다. 이 부분은 추후 업데이트 할 예정이다. Windows에 EB CLI 설치 공식 문서 : https://docs.aws.amazon.com/ko_kr/elasticbeanstalk/latest/dg/eb-cli3-install-windows.html
우선 기존 아나콘다로 파이썬 환경이 구축되어 있다면, 아나콘다를 삭제하고 진행한다.
3.8 버전 이상으로 하면, 배포 시 생각보다 잘 되지 않을 가능성이 크다. 필자는 Python 버전도 3.7로 재 설치 했다.
C:\WINDOWS\system32>python --version Python 3.7.4 C:\WINDOWS\system32>pip --version pip 19.0.3 from c:\users\human\appdata\local\programs\python\python37-32\lib\site-packages\pip (python 3.7) pip을 이용하여 EB CLI를 설치한다.
I. Getting Started 처음 이 페이지를 방문했다면, 반드시 사전작업을 완료하기를 바란다. (AWS Project) BigData with Hadoop 02 - 사전작업 (AWS Project) BigData with Hadoop 03 - Amazon EMR Cluster 시작 (AWS Project) BigData with Hadoop 04 - Allow SSH Access II. What to do now Hive Script를 제출하는 방법에 대해 준비하였다. 를러스터를 생성할 때 단계를 지정하거나 마스터 노드에 연결하고 로컬 파일 시스템에서 스크립트를 생성하고 명렁어를 사용하여 실행할 수 있다. III.
I. Getting Started 처음 이 페이지를 방문했다면, 반드시 사전작업을 완료하기를 바란다. (AWS Project) BigData with Hadoop 02 - 사전작업 (AWS Project) BigData with Hadoop 03 - Amazon EMR Cluster 시작 II. What to do now Client에서 SSH를 통해 클러스터에 접근하는 방법에 대해 다룬다. (1) Warning 보안 그룹은 클러스터에 대한 인바운드 및 아웃바운드 트래픽을 제어하는 가상 방화벽 역할을 한다. 첫 번째 클러스터를 생성하면 Amazon EMR은 마스터 인스턴스, ElasticMapReduce-master와 연결된 기본 Amazon EMR 관리 Security Group 및 핵심 노드 및 태스크 노드와 연결된 Security Group ElasticMapReduce-slave를 생성한다.
I. Getting Started 처음 이 페이지를 방문했다면, 반드시 사전작업을 완료하기를 바란다. (AWS Project) BigData with Hadoop 02 - 사전작업 II. What to do now 이번 포스트에서는 비교적 간단하게 빅데이터 클러스터를 시작하는 과정을 진행한다. 막상 해보면 어려운 것은 아니지만, 언제나 그렇듯이 처음 할 때는 늘 시행착오를 겪게 마련이다. Amazon EMR console창에 있는 Quick Options을 사용한다. Quick Options에 있는 다양한 절차들에 대해 확인이 필요하면 Summary of Quick Options에서 확인해본다. III. Sample Cluster 시작 먼저 AWS에 있는 AWS Management Console을 클릭하여 실행하도록 한다.
I. Amazon S3 Bucket 생성 주요 요건 Hive 쿼리의 출력 데이터를 저장할 Amazon S3 버킷과 폴더를 지정한다. 자습서에서는 default log location을 사용하지만, 원하는 경우에는 custom location을 지정할 수 있다. 하둡의 요구사항 중, bucket과 folder names 다음과 같은 규칙을 적용한다. letters, numbers, periods(.), and hyphens(-) 등을 입력한다. 마지막 글자는 숫자로 끝맺음을 하지 않는다. 이러한 요구 사항을 충족하는 폴더에 이미 액세스할 수 있는 경우 이 튜토리얼에 해당 폴더를 사용하십시오. 출력 폴더는 비어 있어야 한다.