오늘은 snowflake와 aws athena 성능과 비용을 비교해보겠다. snowflake는 클라우드를 기반의 데이터 저장 및 분석 서비스를 제공한다. 기업들은 클라우드를 통해 데이터를 저장하고 분석할 수 있다. 주요 기능으로는 기업 고객에게 맞는 스토리지와 컴퓨팅을 분리하여 제공하는 것이 있다. 이는 필요에 따라 컴퓨팅 파워를 즉시 확장할 수 있는 기능이며, 데이터 공유, 데이터 복제 기능을 제공한다. [ 데이터 소개 ] 데이터 : 베트남 공장 데이터 12월 1달 데이터 총 건수 : 233,870 건 1. 실험 쿼리 SELECT A.SPC_1, A.SPC_2, A.SPC_3, A.SPC_4, A.SPC_5, A.SPC_6, A.SPC_7, A.SPC_8, A.SPC_9, A.SPC_0 FROM vtn..

snowflake 에서 비용을 확인하는 방법은 어려가지가 있다. 그 중 자주쓰는 클라우드 서비스 비용 계산 쿼리를 공유하겠다. 해당 쿼리는 sql 별로 비용을 계산하는 문법으로 스토리지 사이즈가 고정적인 사이트에서는 유용하다. 0. 비용이 발생되는 기준 Snowflake의 총 비용은 데이터 전송, 저장, 컴퓨팅 리소스 사용에 따라 결정됩니다. 이 비용은 크게 세 가지 컴퓨팅 리소스 사용 유형으로 나뉩니다: 가상 웨어하우스 컴퓨팅: 사용자가 관리하는 컴퓨팅 리소스로, 데이터 로딩, 쿼리 실행, DML 작업 등을 수행할 때 크레딧을 사용합니다. 웨어하우스가 활성화되는 순간부터 청구되며, 최소 청구 시간은 60초입니다. 서버리스 컴퓨팅: Snowflake가 관리하는 컴퓨팅 리소스로, 검색 최적화나 Snowpi..

SnowFlake And AWS Connetcion 하는 방법을 알아보겠다. 해당 기능은 snowflake의 worksheets에서 작업을 하겠다. 1. Snow Flake 화면에서 worksheets를 클릭 2. worksheets에서 + 버튼을 클릭 후, SQL 를 선택한다. 3. 데이터베이스를 생성한다. create database TEST 그럼 왼쪽 데이터베이스 리스트에 [TEST] 가 생긴 걸 볼 수 있다. 4. 파일 포멧을 만든다. CREATE OR REPLACE FILE FORMAT PARQUT_SNAPPY TYPE = parquet COMPRESSION = SNAPPY; 파일 포멧을 파일을 읽을 때, 사용하는 포맷을 사용하면 된다. 나는 Parquet.snappy 파일 기준으로 생성했다. ..