728x90 오블완3 Kafka - Kafka Connect 개요 Kafka Connect 의 용어 정리와 확장성AWS MSK Connect 와 Kafka Connect 는 기능적으로는 같은 것이며, 다만 AWS MSK Connect 는 AWS 에서 제공해주는 완전 관리 시스템이라는 점에서 차이가 있습니다.AWS MSK Connect 가 Kafka Connect 기반으로 만들어진 것이라 Kafka Connect 에서 사용할 수 있는 플로그인은 전부 사용가능합니다.Kafka Connect 용어 정리 - 커넥트? 커넥터? 소스 커넥터? 싱크 커넥터?커넥트는 서비스명이며, 커넥트에서 실제 기능을 담당하는 플로그인(또는 인스턴스)을 커넥터라고 합니다.커넥터로 생성된 인스턴스를 worker 라고 부르며, 커넥터 하나 당 worker 하나를 가지면 한 곳의 topic 에 데이터를.. 2024. 11. 26. Kafka - consumer 구현체 비교 Record인터페이스커밋 방식MessageListenerAuto CommitAcknowledgingMessageListenerManual CommitConsumerAwareMessageListenerConsumer 객체 활용AcknowledgingConsumerAwareMessageListenerManual Commit + Consumer 객체 활용 Batch인터페이스커밋 방식BatchMessageListenerAuto CommitBatchAcknowledgingMessageListenerManual CommitBatchConsumerAwareMessageListenerConsumer 객체 활용BatchAcknowledgingConsumerAwareMessageListenerManual Commit +.. 2024. 11. 26. Kafka - Avro 포맷 Primitive Typesnull: 값 없음boolean: 이진 값int: 32비트 부호 있는 정수long: 64비트 부호 있는 정수float: 단정밀도(32비트) IEEE 754 부동소수점 숫자double: 배정밀도(64비트) IEEE 754 부동소수점 숫자bytes: 8비트 부호 없는 바이트의 순서string: 유니코드 문자 시퀀스 예시avro typejson typeexamplenullnullnullbooleanbooleantrueint,longinteger1float,doublenumber1.1bytesstring"\u00FF"stringstring"foo"recordobject{"a": 1}enumstring"FOO"arrayarray[1]mapobject{"a": 1}fixedstring"\.. 2024. 11. 21. 이전 1 다음 728x90
