231227 AWS

 

스토리지

 

스토리 유형별 비교

 

- 블록 스토리지 / EBS (Elastic Block Store)

물리적으로 붙어있음 (속도 빠름)

포맷되지 않은 원시 스토리지
데이터를 일정한 크기의 덩어리(블록)로 나누어 저장하는 방식
블록은 파일보다는 작은 단위로서 조각으로 나누어 저장(e.g. 1~8kb)
인터페이스: SATA, SCSI, Fiber Channel
부분 변경: 가능
사용예: HDD, Storage Area Network (SAN), **EBS**
블록 스토리지란 무엇인가요?: https://aws.amazon.com/ko/what-is/block-storage/

 

- 파일 스토리지 / EFS (Elastic File System)

네트워크로 붙어있음 (확장성이 좋다)

파일과 폴더의 계층구조로 이루어진 방식
스토리지서버 에서 프로토콜(ex: NFS)을 통해 Volume을 제공해주면 이를 클라이언트에서 네트웍을 통해 마운트해 사용하는 방식
인터페이스: [CIFS](https://learn.microsoft.com/ko-kr/openspecs/windows_protocols/ms-cifs/d416ff7c-c536-406e-a951-4f04b2fd1d2b), NFS
부분 변경: 가능

사용예: NAS(Network Attached Storage) 어플라이언스, 윈도우즈 파일 서버, **EFS, FSx series**

 

- 객체 스토리지 / S3 (Simple Storage Service), Glacier 

엄밀하게 말하면 스토리지보단 솔루션이다. 연결도 없고 마운트 개념도 없고 업로드만 하면 된다 (put,get)

파일마다 고유의 key(문자열)가 있다.

key를 가지고 찾아 들어갈 뿐이다. 

파일을 가져오는데는 느릴지언정 확장성에는 아주 뛰어나다. 무제한의 용량을 가지고 있다.

오브젝트라는 개별 데이터 단위로 저장하는 유형입니다.
각 파일들은 데이터뿐만 아니라 Tag 나 Meta 데이터도 함께 가지고 있기 때문에 데이터 검색이 용이한 특성이 있습니다.
파일을 접근하기 위해 http 프로토콜을 사용하고, 파일들이 디렉토리에 계층형으로 저장되는 것이 아니라, 수평적으로 가상의 컨테이너에 펼쳐져서 저장됩니다.
접근권한은 정책기반으로 각 파일별로 관리가능 합니다.
인터페이스: HTTP(S)
부분 변경: 불가능
사용예: Ceph, 오픈스택 Swift, **S3**

 

 

내구성 비교

-> 아마존 계정을 지우지 않는 한 삭제 되지 않는다.

리전 수준의 버킷을 생성한다.

• 특성
  • 어디서나 원하는 양의 데이터를 검색할 수 있도록 구축된 객체 스토리지
  • 리전 Level 서비스
  • 99.999999999% 내구성(3AZ 이상 복제)
  • 서버리스
• Bucket
  • 버킷에 객체를 저장 (객체: File + Metadata)
  • Bucket Name: Global Unique
  • 용량 무제한(1개의 Object 크기 는 최대 5TB)
• 용도
  • 저장, 배포
  • 백업, 아카이빙
  • Datalake
  • 정적 웹사이트 호스팅
• 객체 보호
  • S3 액세스 제어, 퍼블릭 액세스 차단
  • S3 액세스 포인트
    • Bucket Policy 관리의 복잡성 및 용량 제한(20kb)
    • 액세스 포인트를 통해 객체에 액세스할 수 있으려면 액세스 포인트와 기본 버킷 모두에서 요청을 허용해야 함.
  • Bucket Policy

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "just_unique",
            "Effect": "Allow",
            "Principal": "*",
            "Action": [
                "s3:ListBucket",
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::00-23-architecting-on-aws",
                "arn:aws:s3:::00-23-architecting-on-aws/*"
            ]
        }
    ]
}

 

 

객체보호 방식

접근 / 암호화 / 규정

 

 

버킷정책 -> 각 팀마다 다르게 적용함. 어렵다 / 실수 할 수 있다.

 

 

객체에 대한 암호화 키는 회사에서 소유해야 한다.

파일 업로드 할 때 API를 날리는데 헤더에다가 암호를 넣어서 키를 전달.

 

 

Amazon Glacier 

 

 

5G가 넘어가면 멀티파트 업로드를 해야함

 

 

 

 

* AWS Storage Gateway

 

* AWS DataSync

데이터 전송 관련 수동 태스크를 수행하면 마이그레이션 속도가 느려지고 IT 운영 부담이 증가 할 수 있습니다.

DataSync를 사용하면온프레미스스토리지와 Amazon EFS, Amazon FSx 및Amazon S3 간에대량의데이터를쉽게이동할수 있습니다. 전송되는데이터는기본적으로 TLS 1.2를사용하여암호화됩니다. DataSync는스크립팅복사작업, 전송일정수립및모니터링, 데이터유효성검사, 네트워크활용도최적화를자동으로처리합니다. SMB 기반데이터저장소및콘텐츠리포지토리를파일서버및NAS 어레이에서 분석을위해Amazon S3 및Amazon EFS로이동함에따라온프레미스스토리지 인프라를줄입니다. DataSync는여러공유파일시스템에연결해여러태스크를실행할수있는단일 소프트웨어에이전트로배포됩니다. 이소프트웨어에이전트는일반적으로 가상인스턴스를통해온프레미스에배포되어광역네트워크(WAN)를통한 AWS로의데이터전송을처리합니다. 그리고AWS 측에서는에이전트가DataSync 서비스인프라에연결됩니다. DataSync는서비스이므로고객이클라우드에서 인프라를설정하거나유지관리할필요가없습니다. 콘솔에서직접DataSync 구성을관리하면됩니다.

 

 

 

데이터베이스 서비스

 

데이터를 전송할 때 암호화 / 

데이터베이스가 지켜보고 있다가 이상한 것을 발견하면 몇 초 이내에 없애버림

 

 

 

 

 

# 오로라 서버리스

 

 

# DynamoDB

 

 

 

 

# 데이터베이스 캐싱

Redis > 데이터가 램에 저장

             - 클러스터를 내가 관리해야함

             - 리부팅되면 데이터 사라짐

 

Redis나 Memcached를 할 필요없이 Amazon ElasicCache를 사용

메모리만 가지고 실제 데이터를 운영할 수 있음

 

내구성은 Memcached가 더 좋으나 한국에서는 Redis를 주로 사용함

 

 

 

# 데이터베이스 마이그레이션 도구

스키마 옮기고 데이터 옮기기

AWS에서는 AWS DMS라고 한다. Database Migration Service

 

AWS DMS는 데이타 풀로도 가능하고 CDC도 가능하다.

공식적으로 LG U+가 온프레미스 환경에서 클라우드로 대대적으로 이전을 하였는데 5000만의 고객정보를 DMS를 이용하여 업데이트 하였다. 

 

 

---

모니터링

AWS에서는 모니터링을 Amazon CloudWatch로 진행!

+알람설정도 가능