1. pynecone 이란? - python 으로 웹을 구축하기 위한 프레임워크 구성 ( 프런트엔드 ) - 파이썬으로 웹을 개발하면, React 변환해 구축해줌 - 즉, Pynecone은 React 구성 요소를 감싸는 래퍼 !! pip install pynecone-io 2. pynecone 의 목적 2-1. 순수 파이썬 - 모든 것에 Python으로 개발 가능 2-2. 배우기 쉬운 - 빠른 빌드, 빠른 습득 2-3. 완전한 유연성 - 작은 데이터사이언티스트 앱부터 대규모 프로젝트까지 구축 가능 2-4. Batteries Included - 다양한 도구가 필요 없음 ( 개발도구가 pynecone에 포함 됨 ) * Batteries Included 뜻 - 프로그래밍 언어나 프레임워크 등에서 쓰이는 표현으로..

0. 서론 Redis는 기본적으로 메모리 내에 데이터를 저장하는 인메모리 데이터베이스 이다. 근데, 메모리에만 데이터를 저장하니, 데이터가 비정상 종료 및 재부팅 시 날라가는 특징이 있다. 그래서 redis에서는 메모리에 저장된 데이터를 디스크로 저장하는 방법을 제공한다. 1. 방법RDB(Redis DataBase) : Redis 데이터베이스의 스냅샷을 저장하는 방식이 있다. 스냅샷 파일의 이름은 "dump.rdb"로 고정되고, 대규모 데이터를 다룰 때 매우 효율적이다. 스냅샷은 Redis 서버의 메모리 내용을 그대로 디스크에 저장해, 빠르고 경제적인 방법이다. 하지만 스냅샷 주기를 길게 설정하면 데이터 손실 가능성이 높아지며, 짧게 설정하면 성능에 영향을 미친다. AOF(Append Only File)..

0. 서론 Redis의 스트림(Stream) 데이터 구조와 XRANGE 명령어는 대규모 IoT 데이터 처리에 적합한 솔루션 중 하나이다. 이는 시간에 따라 시리즈로 생성되는 IoT 데이터를 저장하고 검색하기에 최적화되어 있으며, 대용량 데이터 처리 및 분석에 최적화되어 있다. 또한 Redis는 인 메모리 데이터베이스로 분류되어 있어 디스크 I/O와 같은 병목 현상이 발생하지 않으므로 데이터 업데이트 및 검색 성능을 높일 수 있다. 1. 데이터 추가하기(XADD) 다음 명령어를 사용하여 iot 데이터를 추가할 수 있습니다. XADD iot_data_stream * tagA 120 위 명령어는 iot_data_stream이라는 이름의 Redis 스트림(Stream)에 tagA라는 이름의 센서에 해당하는 값을..

1. 카프카 로그 파일 보존 정책이란? 카프카는 분산 메시징 시스템으로 대용량의 데이터를 처리할 수 있는데, 이때 발생하는 로그 파일을 보존하는 정책을 설정할 수 있습니다. 카프카에서는 토픽(topic) 단위로 로그 파일을 생성하며, 이 로그 파일은 설정된 보존 정책에 따라 일정 시간 또는 일정 용량 이상이 되면 삭제됩니다. 로그 파일 보존 정책은 설정 파일을 통해 변경할 수 있습니다. 2. 로그 파일 보존 정책 변경 방법 로그 파일 보존 정책을 변경하기 위해서는 server.properties 파일을 수정해야 합니다. server.properties 파일은 Kafka Broker를 설치한 경로의 config 폴더 안에 위치합니다. 보존 정책을 변경하려면 log.retention.ms와 log.reten..

0. 서론 Mongodb는 왠만해서 에러가 나지 않는다. 하지만 나면 좆된다. 나는 종종 몽고디비의 에러를 본적이 있다. 그 중 가장 겁나는건, 재부팅 실패에러이다.. IT기계들은 껐다 켜면 모든 고장이 풀린다는 어르신들의 말씀은 거진 틀린적이 없다. 하지만, 그 기계가 꺼지가 안 켜지면...?? 좆된거다!! Mongodb에서 종종 그런 현상을 발견했다. 오늘은 그 사례와 조치 방안에 대해서 알아보겠다. 100프로 내 이야기다 ㅎㅎ 1. 사연 - reindex 했더닌 좆되었어요 ㅎㅎ 슬픈 사연이였다. mongodb가 용량을 반환하지 않아, 반환방법을 찾던 중 mongodb index를 재 생성하는 명령어를 날렸다. 용량과 인덱스가 무슨 관계냐고 할 수 있겠지만, database에서 index는 꽤 많은 ..

0. What is Sorted Sets? Sorted Sets are mainly used in places where sorting is required. I mainly use them in Redis for querying data within a range (partially possible). Sorted Sets consist of multiple scores and values for a single key. Values are sorted based on their score. Additionally, if a duplicate value is added, the existing value is updated with the new value, which can be an importan..