(AWS Project) BigData with Hadoop 04 - Allow SSH Access

Amazon Web Service, AWS, 아마존 웹 서비스
Page content

I. Getting Started

II. What to do now

  • Client에서 SSH를 통해 클러스터에 접근하는 방법에 대해 다룬다.

(1) Warning

  • 보안 그룹은 클러스터에 대한 인바운드 및 아웃바운드 트래픽을 제어하는 가상 방화벽 역할을 한다.
  • 첫 번째 클러스터를 생성하면 Amazon EMR은 마스터 인스턴스, ElasticMapReduce-master와 연결된 기본 Amazon EMR 관리 Security Group 및 핵심 노드 및 태스크 노드와 연결된 Security Group ElasticMapReduce-slave를 생성한다.

Warning: 공용 서브넷의 마스터 인스턴스에 대한 기본 EMR 관리 보안 그룹 ElasticMapReduce-master는 모든 소스(IPv4 0.0.0/0)에서 포트 22의 인바운드 트래픽을 허용하는 규칙으로 사전 구성된다. 이는 마스터 노드에 대한 초기 SSH 클라이언트 연결을 단순화하기 위한 것이다. 보안 이슈가 생길 우려가 있기 때문에 AWS는 이 인바운드 규칙을 편집하여 신뢰할 수 있는 소스의 트래픽만 제한하거나 액세스를 제한하는 사용자 지정 보안 그룹을 지정해야 한다.

  • 보안 그룹을 수정하는 것에 관한 것은 본 튜토리얼에서는 다루지 않지만, 모든 소스의 인바운드 트래픽을 허용하지 않는 것이 좋다는 것만 이해하자.
  • 현재로써는 그럴일이 없지만, 만약 또한 다른 사용자가 권장 사항에 따라 이 규칙을 제거하기 위해 ElasticMapReduce-master Security Group을 편집한 경우 다음 단계에 SSH를 사용하여 클러스터에 액세스할 수 없다.
  • 보안 그룹과 관련된 문서 가이드는 다음을 참조한다.

(2) Change

  • ElasticMapReduce-master Security Group에 대한 SSH를 사용하여 공용 액세스를 허용하는 인바운드 규칙을 제거하고, 제한된 규칙으로 접근하도록 허용한다.
  • 다음 절차는 ElasticMapReduce-master 보안 그룹이 이전에 편집되지 않았다고 가정한다.
  • 또한 Security Group을 편집하려면 클러스터가 있는 VPC의 Security Group을 관리할 수 있는 루트 사용자 또는 IAM 주체로 AWS에 로그인해야 한다.
  • IAM User에 관한 정책을 확인하려면 다음 문서를 확인하자.

III. Practice with Editing

  • 먼저 Amazon EMR console에 접속한다.
  • 둘째, 지난시간에 만든 Cluster를 선택한다.
  • 셋째, Cluster의 이름을 선택한다.
  • 넷째, Security and Access 항목에서 링크를 클릭한다.

  • 다섯째, 보안그룹 ID를 클릭하는데 ElasticMapReduce-master를 선택한다.

  • 여섯째, Inbound를 선택한 후 Edit을 클릭한다.

  • 일곱번째, 만약에 다음과 같은 Settings가 되어 있다면 x icon을 클릭한 후 다음 항목을 삭제한다.

    • Type: SSH
    • Port: 22
    • Source: Custom 0.0.0.0/0

  • 여덟번째, 스크롤을 내린 후 Rule을 추가한다.

  • 아홉번째, Type항목에서 SSH를 클릭한다.
    • 자동적으로 Protocol에서는 TCP, Port Range에서는 22를 클릭한다.
  • For Source, My IP를 클릭한다.
    • 이렇게 하면 클라이언트 컴퓨터의 IP 주소가 자동으로 원본 주소로 추가된다.
    • 또는 사용자 정의 신뢰할 수 있는 클라이언트 IP 주소 범위를 추가하고 규칙 추가를 선택하여 다른 클라이언트에 대한 추가 규칙을 만들 수 있다.
    • 많은 네트워크 환경에서 IP 주소는 동적으로 할당되므로, 신뢰할 수 있는 클라이언트의 IP 주소를 업데이트하기 위해 정기적으로 Security Group 규칙을 편집해야 할 수 있다.

  • 열번째, 마지막으로 추가된 규칙을 저장 후 SSH 규칙이 추가 변경된 것을 확인한다.

IV. What’s next

  • 다음에 진행해야 하는 Tutorial은 Hive Script를 EMR 클러스터에서 실행하여 데이터 처리를 진행해본다.

V. Reference