개발자 엘티엘의 지식 보관소

AWS 자격증 공부 로드맵 아래 사진은 AWS 자격증이다. 크게 Foundational, Professional, Associate, Specialty 4개 수준(?) 이 있으며, 가장 낮은 Foundational 을 제외한 나머지 3개는 각각 분야가 나뉘어져 있다. Foundational: 분야가 없으며, 가장 기초단계이다. Public Cloud 초급수준의 자격증이다. (AWS 6개월 경험 권장) Associate: 중급수준으로, Architect/SysOps/Developer 분야로 나뉜다. (AWS 1년 경험 권장) Professional: 고급수준으로, Architect/DevOps 분야로 나뉜다. (AWS 2년 경험 권장) Specialty: Network/Security/ML/Data Ana..

Aurora에 S3의 csv 파일을 업로드 하는 과정이 생각보다 복잡해서 관련 내용을 정리했다. Aurora MySQL은 DB Cluster 만 가능하다 Aurora 생성시 Engine Option으로 MySQL, PostgreSQL, MariaDB 등을 선택할 수 있다. 인프라로 Serverless 또는 DB Cluster 타입을 선택할 수 있다 (version에 따라서 자동선택됨) MySQL의 경우 Serverless는 S3에서 데이터 Load가 불가 DB Cluster만 S3에서 데이터를 직접 Load 가능 (링크) 참고로 PostreSQL은 Serverless 및 DB Cluster 둘다 가능 하다고함 Aurora MySQL 에 S3 접근 IAM Role 추가 Aurora에서 DB 선택 -> Co..

2022 5/10~11 이틀간 AWS Summit Korea 2022 (AWS 서밋 코리아 2022) 가 진행되었다. AWS Korea에서 진행하는 이벤트중 가장 큰 이벤트로 매년 이맘때쯤 진행된다. 전체 발표가 64개이고 각 발표가 약 30~40분정도 되니 모두 보기는 사실상 힘들고, 요즘 관심을 가지고 살펴보고 있는 EKS 발표만 키워드 중심으로 요약해봤다. 전체 발표내용은 링크에서 확인할수 있으며, 총 64개의 발표중 4개가 EKS관련 주제였다. 강연간에 중복되거나 기본적인 내용도 있었지만, AWS Korea의 가장 큰 이벤트의 발표인만큼 전체적으로 잘 정리되고 유익한 내용이였다. [보안] EKS 환경을 더 효율적으로 더 안전하게 안전한 Worker Node EKS Optimized AMI 권장 (..

AWS Athena란? S3 에 저장되어 있는 데이터를 DB처럼 쿼리할 수 있는 서비스이다. s3에 csv, tsv, json 등의 형식으로 저장한 파일의 내용을 SQL 쿼리를 통해 select, insert 할 수 있다. update, delete는 기본적으로는 안되는데, 일부 되는것처럼 소개하는 글도 있다. S3는 파일 수정이 불가하기 때문에 되더라도 비효율적인 방식일꺼라 예상한다. (실제 가능여부는 좀더 살펴보고 업데이트 예정) 언제 사용할까? Log와 같은 비정형 데이타 혹은 DB에 저장되지 않은 정형 데이터 등을 SQL을 통해 분석이 필요한 경우 분석 빈도가 많지 않아 데이터 분석을 위한 별도의 인프라 구성이 부담스러운 경우 요금 정책 요금정책은 아주 심플하다. 쿼리 실행시 스캔한 데이터의 사이..

EFS 비용에 대해서 살펴보자. AWS Pricing Calculator 에서 EFS 비용을 확인하기 위해서는 아래 항목을 선택해야 한다. Storage Class 스토리지 설정 원하는 스토리지 용량 자주 액세스하는 데이터의 비율 Infrequent Access 요청 프로비저닝된 처리량 프로비저닝된 처리량 1. Storage Class Multi AZ 또는 단일 AZ 에 데이터를 저장할지 여부를 결정한다. 단일 AZ(One Zone)가 저렴하지만 AZ 단위의 장애에는 취약한 단점이 있다. Multi AZ(Standard, 0.33$/GB-월)가 단일 AZ(One Zone, 0.176$/GB-월)대비 약 2배 정도의 비용이다. 참고로 Provisioned IOPS SSD (EBS)도 하나의 AZ내에서 다수..

EBS vs EFS EKS에서는 PV로 EBS, EFS를 사용할 수 있다. 두개의 차이점을 간단히 설명하면 아래와 같다. EBS 하나의 EC2에만 mount 할수 있음 AZ 단위 서비스 가격이 상대적으로 저렴 (0.1$/GB) 볼륨의 크기를 사전에 결정 (수동 확장 가능) EFS 다수의 EC2에 mount 할수 있음(NAS 용도) Region 단위 서비스 가격이 상대적으로 비쌈 (0.2$/GB) 볼륨의 크기는 자유롭게 확장 가능 정리하면 EFS는 NAS처럼 다수의 EC2와 AZ에서 공유볼륨을 사용하고자 할때 사용하며, EBS는 단일 EC2에서 데이터를 저장할때 사용하는 스토리지라는 것이다. (물론 비용은 EFS가 더 비싸고) EBS를 Pod간 공유볼륨으로 사용할수 있을까? 일반적으로 Kubenetes 환..

MSA 에서는 어플리케이션의 stateless 를 강조한다. 그래야 Application 의 의존성이 사라지고, 배포, 확장 등이 용이하기 때문이다. 반면에 Kubernetes 에는 Stateful Pod를 생성하기 위해서 Statefulset 워크로드를 제공한다. 이것은 언제 사용되는지 정리해 봤다. StatefulSet 이란? 스테이트풀셋은 애플리케이션의 스테이트풀을 관리하는데 사용하는 워크로드 API 오브젝트이다. 파드 집합의 디플로이먼트와 스케일링을 관리하며, 파드들의 순서 및 고유성을 보장한다 . 디플로이먼트와 유사하게, 스테이트풀셋은 동일한 컨테이너 스펙을 기반으로 둔 파드들을 관리한다. 디플로이먼트와는 다르게, 스테이트풀셋은 각 파드의 독자성을 유지한다. 이 파드들은 동일한 스팩으로 생성되었..

VPC Endpont와 PrivateLink VPC Endpoint VPC 엔드포인트를 사용하면 인터넷 게이트웨이, NAT 디바이스, VPN 연결 또는 AWS Direct Connect 연결을 사용할 필요 없이 가상 사설 클라우드(VPC)와 지원되는 서비스 간의 연결이 가능합니다. 따라서 VPC에서 연결할 수 있는 특정 API 엔드포인트, 사이트 및 서비스를 제어합니다. VPC 엔드포인트는 가상 장치입니다. 수평 확장, 중복 및 고가용성 VPC 구성 요소입니다. 다음은 다양한 유형의 VPC 엔드포인트입니다. 지원되는 서비스에 필요한 유형의 VPC 엔드포인트를 생성합니다. [출처] https://docs.aws.amazon.com/vpc/latest/privatelink/vpc-endpoints.html ..

Kubernetes PV의 상태변화에 대해서 자세히 알아보자 PV(Persistant Volume)의 상태(Status)란? 말 그대로 PV의 상태를 의미하며 총 4가지가 있다. 아래는 공식문서에 나와있는 내용이다. 이중 Released 상태는 데이터를 확인할수는 있으나 재사용할 수 없는 상태이다. 데이터를 재사용하기 위해서는 데이터 백업후 PV를 재생성 해야한다. PV의 상태는 아래처럼 확인할수 있다. (아래는 Bound 상태) PV(Persistant Volume)의 반환정책(Reclaim Policy)란? PV 상태가 Bound->미사용으로 변경될때 저장되어 있는 데이터와 PV를 어떻게 처리할 것인가에 대한 정책이다. PV는 PVC가 바인딩이 되면 Bound 상태가 되고 바인딩된 PVC가 없을때 미..

AWS cli 로 codecommit, ecr repository를 생성하는 방법을 알아보자 CodeCommit Repository 생성 aws codecommit create-repository 명령을 사용한다. (링크) aws codecommit create-repository --repository-name [Repo Name] --repository-description [Description] --tags [Key]=[Value] ECR Repository 조회/생성 Repository 조회 aws ecr describe-repositoris 명령을 실행하면 기존 repository 설정을 확인할수 있다. 먼저 콘솔을 통해서 repository를 성 aws ecr describe-reposito..