오늘은 snowflake와 aws athena 성능과 비용을 비교해보겠다. snowflake는 클라우드를 기반의 데이터 저장 및 분석 서비스를 제공한다. 기업들은 클라우드를 통해 데이터를 저장하고 분석할 수 있다. 주요 기능으로는 기업 고객에게 맞는 스토리지와 컴퓨팅을 분리하여 제공하는 것이 있다. 이는 필요에 따라 컴퓨팅 파워를 즉시 확장할 수 있는 기능이며, 데이터 공유, 데이터 복제 기능을 제공한다. [ 데이터 소개 ] 데이터 : 베트남 공장 데이터 12월 1달 데이터 총 건수 : 233,870 건 1. 실험 쿼리 SELECT A.SPC_1, A.SPC_2, A.SPC_3, A.SPC_4, A.SPC_5, A.SPC_6, A.SPC_7, A.SPC_8, A.SPC_9, A.SPC_0 FROM vtn..

snowflake 에서 비용을 확인하는 방법은 어려가지가 있다. 그 중 자주쓰는 클라우드 서비스 비용 계산 쿼리를 공유하겠다. 해당 쿼리는 sql 별로 비용을 계산하는 문법으로 스토리지 사이즈가 고정적인 사이트에서는 유용하다. 0. 비용이 발생되는 기준 Snowflake의 총 비용은 데이터 전송, 저장, 컴퓨팅 리소스 사용에 따라 결정됩니다. 이 비용은 크게 세 가지 컴퓨팅 리소스 사용 유형으로 나뉩니다: 가상 웨어하우스 컴퓨팅: 사용자가 관리하는 컴퓨팅 리소스로, 데이터 로딩, 쿼리 실행, DML 작업 등을 수행할 때 크레딧을 사용합니다. 웨어하우스가 활성화되는 순간부터 청구되며, 최소 청구 시간은 60초입니다. 서버리스 컴퓨팅: Snowflake가 관리하는 컴퓨팅 리소스로, 검색 최적화나 Snowpi..

SnowFlake And AWS Connetcion 하는 방법을 알아보겠다. 해당 기능은 snowflake의 worksheets에서 작업을 하겠다. 1. Snow Flake 화면에서 worksheets를 클릭 2. worksheets에서 + 버튼을 클릭 후, SQL 를 선택한다. 3. 데이터베이스를 생성한다. create database TEST 그럼 왼쪽 데이터베이스 리스트에 [TEST] 가 생긴 걸 볼 수 있다. 4. 파일 포멧을 만든다. CREATE OR REPLACE FILE FORMAT PARQUT_SNAPPY TYPE = parquet COMPRESSION = SNAPPY; 파일 포멧을 파일을 읽을 때, 사용하는 포맷을 사용하면 된다. 나는 Parquet.snappy 파일 기준으로 생성했다. ..

Q. 주식의 예측이 가능할까 ? A. 이런 해답을 구하기 위해, 과거부터 AI로 주식을 예측하려는 시도는 무수히 많았다. 찾아보면 무수한 논문들도 많고, 재미있고 창의적인 방법론도 많다. 근데, 그 논문의 저자 혹은 방법론을 만든자가 부자가 되었다는 소리는 막상 들어본적이 없다. 부자가 되었다면, 막상 짐승의 감각을 가지고 있는 사람일 것이다. Q. 그럼 왜 우리는 주식 시장에서 수익을 낼 수 없을까? A. 주식시장의 주가의 방향을 데이터적으로 살펴보면, 대충 계산해보면 65%의 하락과 35%의 상승의 비율을 가지고 있다. 확율적으로 그냥 잃을 확률이 더 높은 시장이다. 하지만, 코스피는 계속 우상향 중이다. 이는 해당 통계의 모순이 있다는 의미이다. 잃을 확률이 높은 시장에서 자산의 규모는 커지는 모순..

최근 사내 쳇봇을 만드는 과정에서 LangChain 공부과정을 정리하겠다. 나는 현재 사내 정보를 MongoDB에 저장해 사용할 예정이다. 그리고 데이터를 임베딩하기 위해 sentence_transformers를 사용할 것이다. sentence_transformers 에서도 다국어 처리를 위한 distiluse-base-multilingual-cased-v1를 사용했다. chatbot에 사용되는 LLM 모델은 OpenAI의 GPT를 사용할 예정이다. 해당 자료는 찾지 못해, 내가 만들었다. 1. langchain에 필요한 임베딩 클레스를 만들어야 한다. from sentence_transformers import SentenceTransformer, util # OpenAIEmbeddings 클래스와 호..

해당 에러는 주로 아래와 같은 상황에서 나타난다. import datetime import json data = {'time' : datetime.datetime.now()} json.dumps(data) 해당 에러는 datetime 데이터를 직렬화 하지 못해서 생기는 에러이다. json.dumps(data) 뒤에 옵션을 하나만 주면 되는데, 항상 그 옵션을 잊어버려 정리한다. 1. 옵션을 직접 만들어서 사용하기 import json from datetime import datetime # datetime 객체를 문자열로 변환하는 함수 def datetime_to_string(obj): if isinstance(obj, datetime): return obj.__str__() # JSON 직렬화 data..