오늘은 snowflake와 aws athena 성능과 비용을 비교해보겠다. snowflake는 클라우드를 기반의 데이터 저장 및 분석 서비스를 제공한다. 기업들은 클라우드를 통해 데이터를 저장하고 분석할 수 있다. 주요 기능으로는 기업 고객에게 맞는 스토리지와 컴퓨팅을 분리하여 제공하는 것이 있다. 이는 필요에 따라 컴퓨팅 파워를 즉시 확장할 수 있는 기능이며, 데이터 공유, 데이터 복제 기능을 제공한다. [ 데이터 소개 ] 데이터 : 베트남 공장 데이터 12월 1달 데이터 총 건수 : 233,870 건 1. 실험 쿼리 SELECT A.SPC_1, A.SPC_2, A.SPC_3, A.SPC_4, A.SPC_5, A.SPC_6, A.SPC_7, A.SPC_8, A.SPC_9, A.SPC_0 FROM vtn..

CDK Module 선분석 일단 Athena에 해당되는 CDK module이 있는지 봅니다. 먼저 CDK API 문서를 엽니다: API Reference · AWS CDK 그리고 Athena를 찾아서 overview page를 엽니다: @aws-cdk/aws-athena module · AWS CDK 보면 다음과 같이 나와있습니다. 이렇게 CFN-resource만 있으므로 이 CDK code는 CloudFormation (CFN)의 wrapper 수준이라는 것을 알 수 있습니다. 자세한 사항은 CFN의 Athena module을 참고해야 합니다. CFN doc: AWS resource and property types reference - AWS CloudFormation CFN Athena doc: A..

0. auto gluon 이란 ? - aws에서 개발한 ML 이다. - 무슨 모델을 선택할지 정하지 않고 ML를 만들 수 있다. - 특정 모델을 선택해서 ML를 만들 수 있다. from autogluon.tabular import TabularDataset, TabularPredictor 1-1. 학습 데이터를 불러온다. train_data = TabularDataset('https://autogluon.s3.amazonaws.com/datasets/Inc/train.csv') subsample_size = 500 train_data = train_data.sample(n=subsample_size, random_state=0) train_data.head() – train_data = TabularDa..

실습 과정 VPC Endpoint 생성 → Private Rest API 생성→ 프록시 Lambda 생성 → Private Rest API 서비스 및 메소드 생성 → VPC 권한 정책 수정 → Rest API 배포 [ Private Rest API 생성하기 ] AWS VPC Endpoint 생성 API Gateway 용 VPC 엔드포인드 생성이 필요 통신 하고자 하는 VPC 와 연결 필요 서비스 이름을 execute로 검색후 execute-api 선택 VPC 항목에 연결하고자 하는 VPC ID 선택 AWS 콘솔에서 API Gateway 검색 후 신규 API 생성 API 이름 : 사용할 API 이름 정의 설명 : API 설명 작성 엔트포인트 유형 : Private (Regional, Edge optimiz..

AWS Lambda 서비스는 상당히 많은 곳에서 사용이 된다. 이 과정에서 AWS 서버스가 아닌, 다른 서버스랑 연동할때 라이브러리 IMPORT 가 필수적이다. 오늘은 라이브러리 AWS Lambda, Python Import Library 하는 방법을 알아보겠다. 1. 먼저 라이브러리를 받는다. ( pip install ) - 라이브러리 다운로드 # pip install pymongo - 라이브러리 경로 확인 # pip show pymongo 2. pip show pymongo에서 조회 된 경로로 이동한다. 그리고 해당 파일을 찾아서 복사해 다른 경로로 이동시킨다. ( 나는 바탕화면으로 복사해 붙여놓음 ) 3. 해당 폴더를 아래와 같이 2번 묶어준다. 아래 __pycache__는 지워주어도 된다. 4. ..