data engineering

aws 개발 관련 기본, 설정.

qkqhxla1 2017. 6. 24. 21:05

기본 용어.

IAM(Identity & Access Management) : 유저의 권한 관리 등.


ARN(Amazon Resource Name) : aws 자원들을 구분하기 위한 포맷.

http://docs.aws.amazon.com/AmazonS3/latest/dev/s3-arn-format.html에서 더 참조.



기본 설치와 세팅 등

python으로 aws 콘솔을 설치하자. 다른건 찾아보자. 아래 주소 참고.

http://docs.aws.amazon.com/cli/latest/userguide/awscli-install-linux.html


내 맥에선 

brew install ant

pip install awe-cli

로 설치했었다.


-----

리눅스에선

apt-get install ant

sudo pip install awscli

sudo pip install boto3

-----


python으로 aws를 설치하였을 경우 /Users/유저/Library/Python/2.7/bin/에 aws가 있는데 이걸 실행시켜서 구성한다. (자주 사용할것 같으니 PATH를 등록해놓자.)

aws configure 명령어 입력 후 내가 구성할 aws의 access key id, secret access key, 리젼 정보 등등을 등록한다.

secret key id, secret access key를 찾는 방법은 

https://community.bittitan.com/kb/Pages/How%20do%20I%20find%20my%20AWS%20Access%20Key%20and%20Secret%20Access%20Key.aspx

를 참조하자


만든 access key id와 secret access key를 위의 aws configure콘솔 실행 후 입력해준다.


access key id 와 secret access key는 IAM시 사용된다.


콘솔에 credential을 설정한 경우 아래 경로에서 aws의 credentials을 확인할수 있다.

맥,리눅스 : ~/.aws/credentials 


credentials에는 위에서 구성한 aws_access_key_id와 aws_secret_access_key가 저장되어 있다. 


aws의 SDK를 사용하기 위해서는 파이썬에서 boto3를 설치하면 된다.(sudo pip install boto3)


aws에는 ec2등의 서버에 접속하기 위해서 키를 받을수 있다. 아래를 참고하자.
http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-key-pairs.html#having-ec2-create-your-key-pair

여기서 받은 파일로 ec2에 ssh로 접속이 가능하다.

'data engineering' 카테고리의 다른 글

hue pyspark에서 외부 python 모듈 추가하는 방법.  (1) 2017.07.02
hadoop shell 관련.  (0) 2017.06.25
spark 기초.  (0) 2017.06.08
oozie workflow 기본과 삽질한 내용들  (0) 2017.06.04
mapreduce(맵리듀스)란?  (0) 2017.05.20