개발자 엘티엘의 지식 보관소

AWS 자격증 공부 로드맵 아래 사진은 AWS 자격증이다. 크게 Foundational, Professional, Associate, Specialty 4개 수준(?) 이 있으며, 가장 낮은 Foundational 을 제외한 나머지 3개는 각각 분야가 나뉘어져 있다. Foundational: 분야가 없으며, 가장 기초단계이다. Public Cloud 초급수준의 자격증이다. (AWS 6개월 경험 권장) Associate: 중급수준으로, Architect/SysOps/Developer 분야로 나뉜다. (AWS 1년 경험 권장) Professional: 고급수준으로, Architect/DevOps 분야로 나뉜다. (AWS 2년 경험 권장) Specialty: Network/Security/ML/Data Ana..

Aurora에 S3의 csv 파일을 업로드 하는 과정이 생각보다 복잡해서 관련 내용을 정리했다. Aurora MySQL은 DB Cluster 만 가능하다 Aurora 생성시 Engine Option으로 MySQL, PostgreSQL, MariaDB 등을 선택할 수 있다. 인프라로 Serverless 또는 DB Cluster 타입을 선택할 수 있다 (version에 따라서 자동선택됨) MySQL의 경우 Serverless는 S3에서 데이터 Load가 불가 DB Cluster만 S3에서 데이터를 직접 Load 가능 (링크) 참고로 PostreSQL은 Serverless 및 DB Cluster 둘다 가능 하다고함 Aurora MySQL 에 S3 접근 IAM Role 추가 Aurora에서 DB 선택 -> Co..

2022 5/10~11 이틀간 AWS Summit Korea 2022 (AWS 서밋 코리아 2022) 가 진행되었다. AWS Korea에서 진행하는 이벤트중 가장 큰 이벤트로 매년 이맘때쯤 진행된다. 전체 발표가 64개이고 각 발표가 약 30~40분정도 되니 모두 보기는 사실상 힘들고, 요즘 관심을 가지고 살펴보고 있는 EKS 발표만 키워드 중심으로 요약해봤다. 전체 발표내용은 링크에서 확인할수 있으며, 총 64개의 발표중 4개가 EKS관련 주제였다. 강연간에 중복되거나 기본적인 내용도 있었지만, AWS Korea의 가장 큰 이벤트의 발표인만큼 전체적으로 잘 정리되고 유익한 내용이였다. [보안] EKS 환경을 더 효율적으로 더 안전하게 안전한 Worker Node EKS Optimized AMI 권장 (..

AWS Athena란? S3 에 저장되어 있는 데이터를 DB처럼 쿼리할 수 있는 서비스이다. s3에 csv, tsv, json 등의 형식으로 저장한 파일의 내용을 SQL 쿼리를 통해 select, insert 할 수 있다. update, delete는 기본적으로는 안되는데, 일부 되는것처럼 소개하는 글도 있다. S3는 파일 수정이 불가하기 때문에 되더라도 비효율적인 방식일꺼라 예상한다. (실제 가능여부는 좀더 살펴보고 업데이트 예정) 언제 사용할까? Log와 같은 비정형 데이타 혹은 DB에 저장되지 않은 정형 데이터 등을 SQL을 통해 분석이 필요한 경우 분석 빈도가 많지 않아 데이터 분석을 위한 별도의 인프라 구성이 부담스러운 경우 요금 정책 요금정책은 아주 심플하다. 쿼리 실행시 스캔한 데이터의 사이..

EFS 비용에 대해서 살펴보자. AWS Pricing Calculator 에서 EFS 비용을 확인하기 위해서는 아래 항목을 선택해야 한다. Storage Class 스토리지 설정 원하는 스토리지 용량 자주 액세스하는 데이터의 비율 Infrequent Access 요청 프로비저닝된 처리량 프로비저닝된 처리량 1. Storage Class Multi AZ 또는 단일 AZ 에 데이터를 저장할지 여부를 결정한다. 단일 AZ(One Zone)가 저렴하지만 AZ 단위의 장애에는 취약한 단점이 있다. Multi AZ(Standard, 0.33$/GB-월)가 단일 AZ(One Zone, 0.176$/GB-월)대비 약 2배 정도의 비용이다. 참고로 Provisioned IOPS SSD (EBS)도 하나의 AZ내에서 다수..

VPC Endpont와 PrivateLink VPC Endpoint VPC 엔드포인트를 사용하면 인터넷 게이트웨이, NAT 디바이스, VPN 연결 또는 AWS Direct Connect 연결을 사용할 필요 없이 가상 사설 클라우드(VPC)와 지원되는 서비스 간의 연결이 가능합니다. 따라서 VPC에서 연결할 수 있는 특정 API 엔드포인트, 사이트 및 서비스를 제어합니다. VPC 엔드포인트는 가상 장치입니다. 수평 확장, 중복 및 고가용성 VPC 구성 요소입니다. 다음은 다양한 유형의 VPC 엔드포인트입니다. 지원되는 서비스에 필요한 유형의 VPC 엔드포인트를 생성합니다. [출처] https://docs.aws.amazon.com/vpc/latest/privatelink/vpc-endpoints.html ..

AWS cli 로 codecommit, ecr repository를 생성하는 방법을 알아보자 CodeCommit Repository 생성 aws codecommit create-repository 명령을 사용한다. (링크) aws codecommit create-repository --repository-name [Repo Name] --repository-description [Description] --tags [Key]=[Value] ECR Repository 조회/생성 Repository 조회 aws ecr describe-repositoris 명령을 실행하면 기존 repository 설정을 확인할수 있다. 먼저 콘솔을 통해서 repository를 성 aws ecr describe-reposito..

CloudFormation이란? AWS에서 제공하는 IaC (Infra as Code) 서비스이다. VPC, EC2, S3 등 모든 AWS 인프라를 코드로 관리할 수 있다.이렇게 인프라를 코드로 관리할 경우, 현재 인프라를 다른 지역에 동일하게 생성한다거나, 인프라의 변경이력을 확인하는 등 인프라를 좀더 체계적이고 효율적으로 관리 및 운영하는것이 가능하다. CloudFomation을 위해서는 json 또는 yaml 형식의 template 파일을 작성한다. json과 yaml은 형식만 다를뿐 내용에는 차이가 없다. 개인적으로 가독성이 좋은 yaml 형식을 선호한다. 이렇게 작성한 template 파일(json 또는 yaml)을 CloudFormation에 업로드하면 Stack 이라는 단위로 관리된다. 따라..

AWS Auto Scaling Group이란? 사용자가 정의한 조건에 맞춰 EC2 개수가 늘어나거나 줄어드는 기능이다. 일반적으로 ASG(Auto Scaling Group)앞에 LB(Load Balancer)를 연결해서 사용한다. Scaling 정책 아래와 같이 3가지 방식을 지원한다. 1) Dynamic scaling policies 사전에 정의한 metric 또는 알람에 따라서 scaling 하는 방식이다. CPU, Network In/Out 이나 Cloud Watch의 알람 등으로 설정할 수 있다. 2) Predictive scaling policies 예측값에 따라 scaling 하는 방식이다. 3) Scheduled actions 특정 시간 또는 정해진 주기에 따라 scaling 하는 방식이다...

EC2 User Data 사용방법에 대해서 간단히 정리해보자 EC2 User Data란? EC2가 생성되면서 실행되는 일종의 script 이다. 예를들어 5대의 EC2를 생성해서 패키지를 설치해야 한다고 가정해보자. 5대를 생성 -> 각각 ssh 접속 -> 스크립트 실행할 수도 있겠지만 매우 번거로운 작업이다. 이럴경우 User Data를 활용하면 EC2가 생성되고 최초 부팅이될때 User Data에 입력된 스크립트를 실행해준다. 사용방법 사용방법은 간단하다. EC2를 생성할때 아래와 같이 User Data 에 관련 스크립트를 작성하면 된다. linux 기준으로 제일 윗줄의 #!/bin/bash 를 입력하지 않으면 스크립트가 동작하지 않으니 주의하자. User Data 로그 확인하기 제대로 실행됬는지 확..