AWS S3 버킷ID, KEY 대용량 데이터 전달

빅데이터 운영 업무를 볼 때 타 부서에서 데이터 jira 및 티켓으로 요청이 올 때 정해진 S3 디렉터리 및 jira로 업로드하는 것이 대부분이다.

하지만 10GB이상되는 대용량일 땐 타 부서의 요청으로 다른 방식으로 업로드를 할 때가 있을 수도 있다.

 

제목과 같이 S3 Bucket 으로 대용량 데이터를 전달한다.

 

---

요청사항은 아래와 같다.

타부서 : 누구님 jira에서 데이터 용량이 너무 커 다운로드가 불가합니다. 저희 쪽에서 S3버킷을 열어 ID와 key를
           를 드릴테니 여기다가 업로드 가능할까요?

 

누구 : 가능합니다.

---

일단 위의 내용에서 빠진 내용이 있다 중요한 데이터 및 개인정보가 담겨있는 데이터는 여러 가지 절차를 거쳐야 하니 일단 그건 내려두고 S3로 업로드하는 방법은 아래와 같다.

 

AWS 공식문서 참고

 

1. AWS CLI 설치

https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-install.html

최신 버전의 AWS CLI 설치 또는 업데이트 - AWS Command Line Interface

 

2. 타부서에서 전달받은 ID key 리전 json 입력

https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-quickstart.html

빠른 설정 - AWS Command Line Interface

3. CLI다운 후 cmd 나 mobaXterm 같은 툴로 " aws configure " 후 엔터를 한 줄씩 치면 위 이미지와 같이 나온다.

    그 후 연결이 됐다는 문구가 나오면 타 부서의 S3연결이 되었다.

 

4. 연결 되면 원하는 버킷 디렉터리에 cp 명령어로 카피업로드 한다.
   aws s3 cp temp.txt s3://s3-an2-**-h******pf-bucket-**/**t_d***/tmp_a*******ow_***a/***_***/

   위와 같은 형식으로 타 부서에서 aws s3 버킷 주소를 주고 원하는 파일 및 압축 폴더를 복사해서 붙여 넣는다.

 

5. 버킷에 업로드한 디렉터리 확인
     aws s3 ls s3://s3-an2-**-h******pf-bucket-**/**t_d***/tmp_a*******ow_***a/***_***/

 

6. 확인 후 중요한 자료이면 티켓 및 jira에서 다운로드하였다는 요청사항을 받고 난 후 rm 명령어로 지우면 된다

 

 

추가

aws s3 rm s3://s3-an2-**-h******pf-bucket-**/**t_d***/tmp_a*******ow_***a/***_***/[지울파일 이름]

 

[신입이 기억하려고 적은 글입니다...]