0. 서론 Redis는 기본적으로 메모리 내에 데이터를 저장하는 인메모리 데이터베이스 이다. 근데, 메모리에만 데이터를 저장하니, 데이터가 비정상 종료 및 재부팅 시 날라가는 특징이 있다. 그래서 redis에서는 메모리에 저장된 데이터를 디스크로 저장하는 방법을 제공한다. 1. 방법RDB(Redis DataBase) : Redis 데이터베이스의 스냅샷을 저장하는 방식이 있다. 스냅샷 파일의 이름은 "dump.rdb"로 고정되고, 대규모 데이터를 다룰 때 매우 효율적이다. 스냅샷은 Redis 서버의 메모리 내용을 그대로 디스크에 저장해, 빠르고 경제적인 방법이다. 하지만 스냅샷 주기를 길게 설정하면 데이터 손실 가능성이 높아지며, 짧게 설정하면 성능에 영향을 미친다. AOF(Append Only File)..

0. 서론 Redis의 스트림(Stream) 데이터 구조와 XRANGE 명령어는 대규모 IoT 데이터 처리에 적합한 솔루션 중 하나이다. 이는 시간에 따라 시리즈로 생성되는 IoT 데이터를 저장하고 검색하기에 최적화되어 있으며, 대용량 데이터 처리 및 분석에 최적화되어 있다. 또한 Redis는 인 메모리 데이터베이스로 분류되어 있어 디스크 I/O와 같은 병목 현상이 발생하지 않으므로 데이터 업데이트 및 검색 성능을 높일 수 있다. 1. 데이터 추가하기(XADD) 다음 명령어를 사용하여 iot 데이터를 추가할 수 있습니다. XADD iot_data_stream * tagA 120 위 명령어는 iot_data_stream이라는 이름의 Redis 스트림(Stream)에 tagA라는 이름의 센서에 해당하는 값을..

1. 카프카 로그 파일 보존 정책이란? 카프카는 분산 메시징 시스템으로 대용량의 데이터를 처리할 수 있는데, 이때 발생하는 로그 파일을 보존하는 정책을 설정할 수 있습니다. 카프카에서는 토픽(topic) 단위로 로그 파일을 생성하며, 이 로그 파일은 설정된 보존 정책에 따라 일정 시간 또는 일정 용량 이상이 되면 삭제됩니다. 로그 파일 보존 정책은 설정 파일을 통해 변경할 수 있습니다. 2. 로그 파일 보존 정책 변경 방법 로그 파일 보존 정책을 변경하기 위해서는 server.properties 파일을 수정해야 합니다. server.properties 파일은 Kafka Broker를 설치한 경로의 config 폴더 안에 위치합니다. 보존 정책을 변경하려면 log.retention.ms와 log.reten..

0. What is Sorted Sets? Sorted Sets are mainly used in places where sorting is required. I mainly use them in Redis for querying data within a range (partially possible). Sorted Sets consist of multiple scores and values for a single key. Values are sorted based on their score. Additionally, if a duplicate value is added, the existing value is updated with the new value, which can be an importan..

0. Introduction Polars is a data analysis and processing tool implemented in Rust that offers superior processing performance for large-scale data and low memory usage. Due to these advantages, Polars is highly effective for large-scale data processing. It provides a similar API to Pandas but utilizes C++ and Rust for better performance. Furthermore, it is designed to ensure interoperability bet..

0. 서론 데이터 분석 및 처리에 널리 사용되는 Pandas에는 유연성과 편리성 때문에 많은 사용자들이 활용하고 있습니다. 그러나 대용량 데이터에 대한 처리 속도나 메모리 사용 등의 한계 때문에 대규모 데이터를 다루기에는 한계가 있습니다. 이러한 문제를 해결하기 위해 새로운 데이터 처리 도구로서 polars가 등장하였습니다. 1. polars란 무엇인가? polars는 Rust로 구현된 데이터 분석 및 처리 도구로서 대용량 데이터에 대한 처리 성능이 뛰어나고, 메모리 사용량이 적습니다. 이러한 장점 덕분에 polars는 대규모 데이터 처리에 매우 효과적입니다. polars는 Pandas와 비슷한 API를 제공하며, 더 나은 성능을 위해 C++과 Rust를 사용합니다. 또한, Python과 Rust 간의 ..