SQL 2

AWS Athena로 S3에 있는 CSV파일 데이터 쿼리하기 (feat. partitioning)

AWS Athena란? S3 에 저장되어 있는 데이터를 DB처럼 쿼리할 수 있는 서비스이다. s3에 csv, tsv, json 등의 형식으로 저장한 파일의 내용을 SQL 쿼리를 통해 select, insert 할 수 있다. update, delete는 기본적으로는 안되는데, 일부 되는것처럼 소개하는 글도 있다. S3는 파일 수정이 불가하기 때문에 되더라도 비효율적인 방식일꺼라 예상한다. (실제 가능여부는 좀더 살펴보고 업데이트 예정) 언제 사용할까? Log와 같은 비정형 데이타 혹은 DB에 저장되지 않은 정형 데이터 등을 SQL을 통해 분석이 필요한 경우 분석 빈도가 많지 않아 데이터 분석을 위한 별도의 인프라 구성이 부담스러운 경우 요금 정책 요금정책은 아주 심플하다. 쿼리 실행시 스캔한 데이터의 사이..

IT/Public Cloud 2022.04.28

AWS RDS 에서 Slow Query 확인하기

본 내용은 링크의 내용을 기본으로 한다 AWS RDS 에서 slow query를 확인하는 방법을 확인해보자. 이를 위해서는 다음을 수행해야 한다. RDS 인스턴스 생성 parameter group 설정 및 적용 slow_query 확인 1. RDS 인스턴스 생성 이전글(AWS RDS, Aurora 와 MySQL Workbench 연결하기) 참고. 꼭 RDS 인스턴스에 Workbench를 연결한다. 2. parameter group 설정 및 적용 새로운 parameter group을 생성하고 slow query 관련 설정후 RDS 인스턴스에 적용해야 한다. 1) parameter group 생성 및 설정 RDS 메뉴 진입 -> Parameter groups -> Create parameter group -..

IT/Public Cloud 2022.01.05
반응형