전체 글(133)
-
SnowFlake 와 AWS Connetcion ( feat. SQL )
SnowFlake And AWS Connetcion 하는 방법을 알아보겠다. 해당 기능은 snowflake의 worksheets에서 작업을 하겠다. 1. Snow Flake 화면에서 worksheets를 클릭 2. worksheets에서 + 버튼을 클릭 후, SQL 를 선택한다. 3. 데이터베이스를 생성한다. create database TEST 그럼 왼쪽 데이터베이스 리스트에 [TEST] 가 생긴 걸 볼 수 있다. 4. 파일 포멧을 만든다. CREATE OR REPLACE FILE FORMAT PARQUT_SNAPPY TYPE = parquet COMPRESSION = SNAPPY; 파일 포멧을 파일을 읽을 때, 사용하는 포맷을 사용하면 된다. 나는 Parquet.snappy 파일 기준으로 생성했다. ..
2024.01.26 -
주식 예측 AI 개발 노트
Q. 주식의 예측이 가능할까 ? A. 이런 해답을 구하기 위해, 과거부터 AI로 주식을 예측하려는 시도는 무수히 많았다. 찾아보면 무수한 논문들도 많고, 재미있고 창의적인 방법론도 많다. 근데, 그 논문의 저자 혹은 방법론을 만든자가 부자가 되었다는 소리는 막상 들어본적이 없다. 부자가 되었다면, 막상 짐승의 감각을 가지고 있는 사람일 것이다. Q. 그럼 왜 우리는 주식 시장에서 수익을 낼 수 없을까? A. 주식시장의 주가의 방향을 데이터적으로 살펴보면, 대충 계산해보면 65%의 하락과 35%의 상승의 비율을 가지고 있다. 확율적으로 그냥 잃을 확률이 더 높은 시장이다. 하지만, 코스피는 계속 우상향 중이다. 이는 해당 통계의 모순이 있다는 의미이다. 잃을 확률이 높은 시장에서 자산의 규모는 커지는 모순..
2023.11.17 -
LangChain과 MongoDB 연동 (feat. sentence_transformers )
최근 사내 쳇봇을 만드는 과정에서 LangChain 공부과정을 정리하겠다. 나는 현재 사내 정보를 MongoDB에 저장해 사용할 예정이다. 그리고 데이터를 임베딩하기 위해 sentence_transformers를 사용할 것이다. sentence_transformers 에서도 다국어 처리를 위한 distiluse-base-multilingual-cased-v1를 사용했다. chatbot에 사용되는 LLM 모델은 OpenAI의 GPT를 사용할 예정이다. 해당 자료는 찾지 못해, 내가 만들었다. 1. langchain에 필요한 임베딩 클레스를 만들어야 한다. from sentence_transformers import SentenceTransformer, util # OpenAIEmbeddings 클래스와 호..
2023.11.08 -
Object of type datetime is not JSON serializable
해당 에러는 주로 아래와 같은 상황에서 나타난다. import datetime import json data = {'time' : datetime.datetime.now()} json.dumps(data) 해당 에러는 datetime 데이터를 직렬화 하지 못해서 생기는 에러이다. json.dumps(data) 뒤에 옵션을 하나만 주면 되는데, 항상 그 옵션을 잊어버려 정리한다. 1. 옵션을 직접 만들어서 사용하기 import json from datetime import datetime # datetime 객체를 문자열로 변환하는 함수 def datetime_to_string(obj): if isinstance(obj, datetime): return obj.__str__() # JSON 직렬화 data..
2023.07.14 -
[Python] AttributeError: module 'lib' has no attribute 'SSL_CTX_set_ecdh_auto' 에러 해결 방법
pymongo에서 mongodb connection를 했는데, 아래와 같은 에러가 났다. AttributeError: module 'lib' has no attribute 'SSL_CTX_set_ecdh_auto' 원래, python에서 lib 에러가 잘 나지 않는데, 처음 보는 에러였다. 주로 클라우드에서 작업을 해, 내 로컬 PC 세팅이 오래 되긴 했다. 한시간 정도 삽질하다 내용을 공유한다. 해당 에러가 나는 사람은 아마 아무도 없겠지만, 또 다시 에러가 날 수 있으니 정리해놔야 겠다. 에러 해결 방법은 아래와 같다. 먼저pyopenssl를 지워준다. pip uninstall pyopenssl 그 다음 다시 pyopenssl를 설치해준다. 아마 pyopenssl 버전이 낮거나, 꼬여서 그런거 같다...
2023.06.19 -
기본화면
1. 기본 모드 화면 2. 심플 모드 화면 2. 회사로고
2023.06.15