Kafka 로그(log) 관리 방법 및 설정

1. 카프카 로그 파일 보존 정책이란?

카프카는 분산 메시징 시스템으로 대용량의 데이터를 처리할 수 있는데, 이때 발생하는 로그 파일을 보존하는 정책을 설정할 수 있습니다. 카프카에서는 토픽(topic) 단위로 로그 파일을 생성하며, 이 로그 파일은 설정된 보존 정책에 따라 일정 시간 또는 일정 용량 이상이 되면 삭제됩니다. 로그 파일 보존 정책은 설정 파일을 통해 변경할 수 있습니다.

2. 로그 파일 보존 정책 변경 방법

로그 파일 보존 정책을 변경하기 위해서는 server.properties 파일을 수정해야 합니다. server.properties 파일은 Kafka Broker를 설치한 경로의 config 폴더 안에 위치합니다.

보존 정책을 변경하려면 log.retention.ms와 log.retention.bytes 설정을 수정합니다. log.retention.ms 설정을 변경하면 토픽의 로그 파일이 보존되는 시간이 조정되며, log.retention.bytes 설정을 변경하면 로그 파일이 보존되는 디스크 공간의 제한을 조정할 수 있습니다.

log.retention.ms 설정 값은 밀리초 단위이며, 기본값은 7일입니다. log.retention.bytes 설정 값은 바이트 단위이며, 기본값은 -1로 설정되어 있습니다.

[ 예시 ]
log.retention.ms : 이 설정은 메시지가 유지되는 시간을 밀리초로 지정합니다. 기본값은 7일입니다.
log.retention.bytes : 이 설정은 디스크에서 보존되는 메시지의 최대 크기를 바이트 단위로 지정합니다. 기본값은 -1이며, 이는 디스크 공간이 부족해지기 전까지 모든 메시지를 보존하겠다는 의미입니다.

728x90

3. 보존 정책 변경 시 주의사항

로그 파일이 삭제되는 시점에 따라서는 데이터의 유실이 발생할 수도 있습니다.
변경 후에는 변경 내용이 적용되도록 Kafka Broker를 재시작해야 합니다.

반응형

4. 설정 파일 위치 및 보존 정책 설정 방법

Kafka Broker의 설정 파일인 server.properties은 Kafka Broker를 설치한 경로의 config 폴더 안에 위치합니다
예를 들어, 만약 Apache Kafka를 /usr/local/kafka 경로에 설치했다면, server.properties 파일은 /usr/local/kafka/config 폴더 안에 있을 것입니다.

cd /usr/local/kafka/config
vi server.properties

* 디스크 1G 설정

log.retention.bytes=1073741824

* 24 시간 설정

log.retention.ms=86400000