개발자 엘티엘의 지식 보관소

AWS 데이터 전송비용에 대해서 정리해보자. 아래 공식 사이트에 있는 내용이다. https://aws.amazon.com/ko/ec2/pricing/on-demand/#Data_Transfer EC2 온디맨드 인스턴스 요금 – Amazon Web Services aws.amazon.com 정리하면 다음과 같다. (서울 Regions, EC2 기준) inbound 무료 outbound는 목적지에 따라 비용이 결정 인터넷 - 0.108~0.126 $/GB 다른 Region - 0.08 $/GB 동일 Region 동일 AZ (RDS, EC2, Redshift 등) - 무료 다른 AZ - 0.01 $/GB Regional 서비스의 Endpoint (SNS, S3, ECR 등) 으로 직접 전송- 무료 inboun..

is not authorized to perform 에러 AWS에서 모든 동작은 API로 이루어지고, 모든 API는 권한이 관리된다. 이 에러는 사용자가 권한이 없는 어떤 동작을 수행하고자 할때 발생한다. 결국 사용자에게 적절한 권한을 추가한다면 에러는 해결된다. 아래는 CodeBuild에서 build project를 생성할때 발생하는 에러이다. 어떤 권한을 추가해야 될까? 위 사진을 보면 iam:CreateRole 이라는 권한이 없기 때문에 발생했다는것을 알수 있다. IAM에서 사용자에게 iam:CreateRole 권한을 추가해주면 된다. "iam:" 으로 시작하기 때문에, IAM 서비스에 대한 권한임을 알수 있다. 사용자에게는 policy라는 단위로 추가할수 있는데, 여기서 policy는 일종의 권한..

AWS CodeCommit이란? 쉽게말해 AWS에서 제공하는 github 이다. 소스관리 및 사용자 관리 등이 가능하다. CodeCommit 에 코드를 push 해보자 대략적인 순서는 아래와 같다. IAM 사용자 생성 및 CodeCommit 사용권한 추가하기 CodeCommit repository 생성 사용자 SSH key 또는 HTTPS Git credentials 추가 및 clone git add, commit, push 1. IAM 사용자 생성 및 CodeCommit 사용권한 추가하기 CodeCommit을 사용할 사용자를 추가하고 사용자에게 CodeCommit을 사용할수 있는 권한을 추가한다. IAM 메뉴 진입 -> Users -> Add users -> 정보입력 후 생성 Set permission..

MySQL Workbench는 DB 조회/생성/관리 등을 할수 있게 도와주는 클라이언트 프로그램입니다. PC에 설치한 MySQL Workbench와 AWS에서 생성한 RDS 및 Aurora MySQL와 연결해보자. 대략적인 순서는 아래와 같다. PC에 MySQL Workbench 다운로드 및 설치 VPC 생성 및 설정 DB 생성 Workbench로 DB에 접속 1. PC에 MySQL Workbench 다운로드 및 설치 아래 사이트에서 OS에 알맞은 MySQL Workbench 를 다운로드 받고 PC에 설치한다. https://dev.mysql.com/downloads/workbench/ 2. VPC 생성 및 설정하기 사실 RDS MySQL을 생성할때 "Create new VPC"를 선택하면, VPC가 적..

AWS CodeDepoly란? 쉽게 말해, AWS에서 제공하는 배포서비스이다. 이름 그대로 Application 배포를 관리한다. Regional 서비스이므로 Region 단위로 배포 및 Application 관리가 가능하다. CodeDeploy를 사용해서 EC2에 Application을 배포해보자 대략적인 순서는 아래와 같다. IAM Role을 생성 S3 버킷 생성, 어플리케이션 및 appspec.yml 업로드 EC2 인스턴스 생성 및 설정 CodeDeploy 항목 생성 (Application, Deployment Group) 배포 실행 1. IAM Role 생성 먼저 IAM에서 Role을 만들어야 한다. 아래와 같이 총 2개의 Role을 만들어야 한다. 1) CodeDeploy 에서 사용할 Role ..

AWS Organizations 와 AWS IAM을 비교해보자 IAM은 리소스에 대한 액세스를 제어할수 있고, 사용자 및 그룹을 만들고 접근 허용/거부를 설정할 수 있다. Organzations은 AWS 계정을 생성하고, 그룹화(OU)하고, 정책(SCP)을 적용할 수 있다. 얼핏보면 둘다 사용자를 그룹핑 하고, 권한 제어를 한다는 점에서는 비슷하지만 미묘하게 다르다. 차이점을 살펴보자 적용 대상 Organizations은 AWS 계정을 대상으로 하지만, IAM은 사용자를 대상으로 한다. Organizations에서 특정 계정에 SCP를 적용하면, 해당 계정의 모든 사용자는 영향을 받는다. Organizations의 정책이 IAM의 정책보다 우선한다. 추가 기능 Organizations은 백업, 리소스, ..

AWS에는 다양한 스토리지 관련 서비스들이 있는데, 헷갈리는 부분이 있어서 정리해봤다. DataSync: 파일시스템간 데이터 동기화 (온프레미스-클라우드, 클라우드-클라우드, 온프레미스-온프레미스는 X) Storage Gateway: 온프레미스의 Application이 클라우드의 스토리지를 활용할수 있음 Backup: 클라우드의 스토리지 백업수행. Transfer Family: 클라우드의 스토리지를 파일서버로 사용 (SFTP, FTP) Database Migration Service: 동일기종 및 이기종 데이터베이스간 Migration (온프레미스-클라우드, 클라우드-클라우드, 온프레미스-온프레미스는 X) 기능을 분류해보면 아래 3개 정도로 분류할수 있을것 같다. AWS 스토리지간 데이터 복사 (Data..

AWS Global, Regional, AZ 서비스 레벨 AWS의 서비스들은 아래와 같이 3종류의 Level 을 가지고 있으며, 각 Level에 따라 해당 서비스에 접근할 수 있는 범위가 달라진다. Global Level : IAM, Route53 등 Regional Level : VPC, S3, AMI, DynamoDB 등 AZ Level : EC2, Subnet, EBS 등 아래표는 AWS Global, Regional, AZ 서비스 레벨을 정리한 표이다. 대부분 Regional 이고, 몇가지 서비스들이 특성에 따라 Global, AZ 레벨이 있다고 보면 된다. (일부는 구글링, 일부는 직접 확인한 내용이기 때문에 오류가 있을수도 있음) Global IAM Route53 WAF CloudFront R..

결정계수란? 회귀모델이 주어진 자료에 얼마나 적합한지를 평가하는 지표 y의 변동량대비 모델 예측값의 변동량을 의미함 0~1의 값을 가지며, 상관관계가 높을수록 1에 가까워짐 r2=0.3인 경우 약 30% 정도의 설명력을 가진다 라고 해석할 수 있음 sklearn의 r2_score의 경우 데이터가 arbitrarily할 경우 음수가 나올수 있음 음수가 나올경우 모두 일괄 평균으로 예측하는 것보다 모델의 성능이 떨어진다는 의미 결정계수는 독립변수가 많아질 수록 값이 커지기때문에, 독립변수가 2개 이상일 경우 조정된 결정계수를 사용해야 함 결정계수 수식 아래 결정계수 수식이다. SSR > SST 보다 클 경우 음수가 나올수가 있음 이는 모델의 예측값이 평균값으로 예측하는것보다 정확하지 않을때 발생함 아래는 조..

크롤링할때마다 사용하는 파이썬 셀레니움 패키지 (python selenium) 그중 가장 많이 사용하는 함수인 find_elemnt_by_, find_elements_by_ 사용법에 대해서 간단히 정리하고자 한다. find_element_by, find_elements_by 차이점은? find_element_by와 find_elements_by은 동일한 동작을 하지만, 아래와 같은 차이가 있다. element 는 조건에 일치하는 가장 첫번째 요소를 반환 elements는 조건에 일치하는 모든 요소를 list 형태로 반환 즉, 한개만 return하냐, 모든 요소를 return 하냐의 차이다. 보통 해당 페이지에 조건에 만족하는 element가 유일하다는게 보장된다면 find_element_by를, list..