consumer5 Consumer Fetcher 관련 주요 파라미터와 Fetcher 메커니즘 이해 Consumer Fetcher 관련 주요 파라미터와 Fetcher 메커니즘 이해Consumer Fetcher 프로세스 개요Fetcher는 Linked Queue 데이터를 가져오되, Linked Queue에 데이터가 없을 경우 ConsumerClientNetwork에서 데이터를 브로커로부터 가져올 것을 요청한다. fetch.min.bytesFetcher가 record들을 읽어들이는 최소 bytes. 브로커는 지정된 fetch.min.bytes 이상의 새로운 메시지가 쌓일 때까지 전송을 하지 않는다.기본은 1bytes fetch.max.bytesFetcher가 한번에 가져올 수 있는 최대 데이터 bytes기본은 50MB fetch.max.wait.ms브로커에 fetch.min.bytes 이상의 메시지가 쌓일.. 2025. 5. 15. Kafka Consumer 클래스의 주요 구성 요소와 poll() 메서드 동작 메커니즘 이해 Kafka Consumer 클래스의 주요 구성 요소와 poll() 메서드 동작 메커니즘 이해Kafka Consumer의 주요 구성 요소와 poll() 메서드브로커나 Consumer 내부 Queue에 데이터가 없다면 바로 데이터를 반환. 그렇지 않을 경우에는 1000ms동안 데이터Fetch를 브로커에 계속 수행하고 결과 반환ConsumerRecords consumerRecords = KafkaConsumer.poll(Duration.ofMillis(1000)); Kafka Consumer 구성 poll() 메서드의 동작Linked Queue에 데이터가 있을 경우 Fetcher는 데이터를 가져오고 반환하며 poll() 수행 완료.ConsumerNetworkClient는 비동기로 계속 브로커의 메시지를 가져와.. 2025. 5. 14. Consumer의 주요 메커니즘 개요 Consumer의 주요 메커니즘 개요Kafka Consumer 개요브로커의 Topic 메시지를 읽는 역할을 수행한다.모든 Consumer들은 고유한 그룹아이디 (group.id)를 가지는 Consumer Group에 소속되어야 한다.개별 Consumer Group 내에서 여러 개의 Consumer들은 토픽 파티션 별로 분배된다. Consumer의 subscribe, poll, commit 로직Consumer는 subscribe()를 호출하여 읽어 들이려는 토픽을 등록Consumer는 poll() 메서드를 이용하여 주기적으로 브로커의 토픽 파티션에서 메시지를 가져온다.메시지를 성공적으로 가져왔으면 commit을 통해서 __consumer_offsets에 다음에 읽을 offset 위치를 기재한다. Kafka.. 2025. 5. 13. kafka-consumer-groups 명령어로 Consumer Group과 Consumer, Lag 정보 확인 kafka-consumer-groups 명령어로 Consumer Group과 Consumer, Lag 정보 확인consumer groups는 consumer가 모두 떠나 empty 상태가 되어도 자동으로 삭제되지 않고 일정 기간동안 보관된다. kafka-consumer-groups 명령어Consumer Group list 정보Consumer Group과 Consumer 관계, Partition 등에 대한 상세 정보Consumer Group 삭제Producer가 전송한 Lag Message 지연 Lag 정보 Consumer Group 리스트 조회kafka-consumer-groups --bootstrap-server localhost:9092 --list Consumer Groups가 group_01인 C.. 2025. 4. 25. kafka-console-producer와 kafka-console-consumer로 producer와 consumer 테스트 kafka-console-producer와 kafka-console-consumer로 producer와 consumer 테스트kafka-console-producer와 kafka-console-consumerbin/ 디렉토리에 kafka-console-producer, kafka-console-consumer 존재kafka-console-producer : 메시지 발행kafka-console-consumer : 메시지 소비 토픽 생성kafka-topics --bootstrap-server localhost:9092 --create --topic test-topic 토픽 메시지 발행kafka-console-producer --bootstrap-server localhost:9092 --topic test-.. 2025. 4. 10. 이전 1 다음
