728x90 kafka4 Kafka - Avro 포맷 Primitive Typesnull: 값 없음boolean: 이진 값int: 32비트 부호 있는 정수long: 64비트 부호 있는 정수float: 단정밀도(32비트) IEEE 754 부동소수점 숫자double: 배정밀도(64비트) IEEE 754 부동소수점 숫자bytes: 8비트 부호 없는 바이트의 순서string: 유니코드 문자 시퀀스 예시avro typejson typeexamplenullnullnullbooleanbooleantrueint,longinteger1float,doublenumber1.1bytesstring"\u00FF"stringstring"foo"recordobject{"a": 1}enumstring"FOO"arrayarray[1]mapobject{"a": 1}fixedstring"\.. 2024. 11. 21. Kafka - Kafka Producing 성능 비교와 멱등성 조건 Producing 성능 비교의 두가지 Factor - Acks, Synchronized/Asynchronized acks=all 동기acks=all 비동기acks=1 동기acks=1 비동기비교 조건acks=allSynchronizedacks=allAsynchronizedacks=1Synchronizedacks=1Asynchronized기타 조건replication factor: 2enable.idempotence: truemax.in.flight.requests.per.connection: 5retries: 3reconnect.backoff.max.ms: 1000Lbatch.size: 5KBlinger.ms: 10mscompression.type: gizpreplication factor: 2enable.. 2024. 6. 2. MSK Cluster 간단 소개 MSK 이란 MSK (Amazon Managed Streaming for Apache Kafka) - 완전관리형 Apache Kafka 카프카는 크게 Producer, Broker, Consumer 로 구성됩니다. Kafka Cluster 부터 보시면 여러개의 Broker 로 구성되어있습니다. 각각의 Broker 가 하나의 서버라고 보시면 됩니다. Kafka 는 실시간 데이터 플랫폼 또는 이벤트 스트리밍 플랫폼 입니다. 비동기 통신과 pub/sub 방식을 지원합니다. Producer 는 메시지를 발행하는 서버 Consumer 는 메시지를 받아서 처리하는 서버 Producer 에서 메시지를 발행(Publisher) 하고 Consumer 에서 토픽 단위로 구독(Subscribe) 하고 메시지를 소비(Cons.. 2024. 2. 21. kafka - Datadog Metrics Sink Connector 이거는 유료 커넥터 플러그인입니다. 체험판으로 30일 무료로 이용 가능합니다. https://docs.confluent.io/kafka-connectors/datadog-metrics/current/overview.html#license 위의 Confluent 에서 제공된 Datadog Metrics Sink Connector 특징은 다음과 같습니다. At Least Once Delivery: 이 커넥터는 메시지 전달을 적어도 한 번 이상 보장합니다. 이는 데이터의 유실을 방지하며 안정적인 데이터 이동을 보장합니다. Dead Letter Queue: 실패한 메시지를 보관하고 관리하는 메커니즘으로, Dead Letter Queue를 통해 처리되지 않은 메시지를 추적하고 분석할 수 있습니다. Multiple.. 2023. 8. 10. 이전 1 다음 728x90
