개발자 엘티엘의 지식 보관소

Aurora에 S3의 csv 파일을 업로드 하는 과정이 생각보다 복잡해서 관련 내용을 정리했다. Aurora MySQL은 DB Cluster 만 가능하다 Aurora 생성시 Engine Option으로 MySQL, PostgreSQL, MariaDB 등을 선택할 수 있다. 인프라로 Serverless 또는 DB Cluster 타입을 선택할 수 있다 (version에 따라서 자동선택됨) MySQL의 경우 Serverless는 S3에서 데이터 Load가 불가 DB Cluster만 S3에서 데이터를 직접 Load 가능 (링크) 참고로 PostreSQL은 Serverless 및 DB Cluster 둘다 가능 하다고함 Aurora MySQL 에 S3 접근 IAM Role 추가 Aurora에서 DB 선택 -> Co..

AWS Athena란? S3 에 저장되어 있는 데이터를 DB처럼 쿼리할 수 있는 서비스이다. s3에 csv, tsv, json 등의 형식으로 저장한 파일의 내용을 SQL 쿼리를 통해 select, insert 할 수 있다. update, delete는 기본적으로는 안되는데, 일부 되는것처럼 소개하는 글도 있다. S3는 파일 수정이 불가하기 때문에 되더라도 비효율적인 방식일꺼라 예상한다. (실제 가능여부는 좀더 살펴보고 업데이트 예정) 언제 사용할까? Log와 같은 비정형 데이타 혹은 DB에 저장되지 않은 정형 데이터 등을 SQL을 통해 분석이 필요한 경우 분석 빈도가 많지 않아 데이터 분석을 위한 별도의 인프라 구성이 부담스러운 경우 요금 정책 요금정책은 아주 심플하다. 쿼리 실행시 스캔한 데이터의 사이..

AWS CodeBuild란? AWS에서 제공하는 빌드 서비스 이다. 컴파일 및 테스트 등을 실행할 수 있다. 아래 사진이 AWS의 CI/CD 환경이다. 이중에서 CodeBuild는 소스 Repository인 CodeCommit에서 소스를 받아와서 buildspec.yml 파일내용에 따라 빌드, 테스트를 하고 최종 Artifacts를 S3에 저장하는 역할을 한다. 즉 최신 코드를 받아와서 buildspec에 따라 빌드한후 결과를 S3에 저장한다. 여기서 Repository는 CodeCommit 대신 Github 등을 사용할수 있다. S3에 저장된 Artifacts는 CodeDeploy 를 통해서 EC2에 배포하면 되면 전체 CI/CD 가 완성된다. CodeBuild로 파이썬 빌드하기 파이썬은 별도의 컴파일..