Database 3

S3의 CSV 파일을 Aurora MySQL 클러스터에 insert 하기

Aurora에 S3의 csv 파일을 업로드 하는 과정이 생각보다 복잡해서 관련 내용을 정리했다. Aurora MySQL은 DB Cluster 만 가능하다 Aurora 생성시 Engine Option으로 MySQL, PostgreSQL, MariaDB 등을 선택할 수 있다. 인프라로 Serverless 또는 DB Cluster 타입을 선택할 수 있다 (version에 따라서 자동선택됨) MySQL의 경우 Serverless는 S3에서 데이터 Load가 불가 DB Cluster만 S3에서 데이터를 직접 Load 가능 (링크) 참고로 PostreSQL은 Serverless 및 DB Cluster 둘다 가능 하다고함 Aurora MySQL 에 S3 접근 IAM Role 추가 Aurora에서 DB 선택 -> Co..

IT/Public Cloud 2022.05.12

AWS RDS, Aurora 와 MySQL Workbench 연결하기

MySQL Workbench는 DB 조회/생성/관리 등을 할수 있게 도와주는 클라이언트 프로그램입니다. PC에 설치한 MySQL Workbench와 AWS에서 생성한 RDS 및 Aurora MySQL와 연결해보자. 대략적인 순서는 아래와 같다. PC에 MySQL Workbench 다운로드 및 설치 VPC 생성 및 설정 DB 생성 Workbench로 DB에 접속 1. PC에 MySQL Workbench 다운로드 및 설치 아래 사이트에서 OS에 알맞은 MySQL Workbench 를 다운로드 받고 PC에 설치한다. https://dev.mysql.com/downloads/workbench/ 2. VPC 생성 및 설정하기 사실 RDS MySQL을 생성할때 "Create new VPC"를 선택하면, VPC가 적..

IT/Public Cloud 2021.12.09

AWS 스토리지 관련 서비스 비교 (DataSync, Storage Gateway, Backup, Transfer Family, DMS)

AWS에는 다양한 스토리지 관련 서비스들이 있는데, 헷갈리는 부분이 있어서 정리해봤다. DataSync: 파일시스템간 데이터 동기화 (온프레미스-클라우드, 클라우드-클라우드, 온프레미스-온프레미스는 X) Storage Gateway: 온프레미스의 Application이 클라우드의 스토리지를 활용할수 있음 Backup: 클라우드의 스토리지 백업수행. Transfer Family: 클라우드의 스토리지를 파일서버로 사용 (SFTP, FTP) Database Migration Service: 동일기종 및 이기종 데이터베이스간 Migration (온프레미스-클라우드, 클라우드-클라우드, 온프레미스-온프레미스는 X) 기능을 분류해보면 아래 3개 정도로 분류할수 있을것 같다. AWS 스토리지간 데이터 복사 (Data..

IT/Public Cloud 2021.09.07
반응형