kafka - Datadog Metrics Sink Connector

이거는 유료 커넥터 플러그인입니다. 체험판으로 30일 무료로 이용 가능합니다. 
https://docs.confluent.io/kafka-connectors/datadog-metrics/current/overview.html#license

 

위의 Confluent 에서 제공된 Datadog Metrics Sink Connector 특징은 다음과 같습니다.

• At Least Once Delivery: 이 커넥터는 메시지 전달을 적어도 한 번 이상 보장합니다. 이는 데이터의 유실을 방지하며 안정적인 데이터 이동을 보장합니다.
• Dead Letter Queue: 실패한 메시지를 보관하고 관리하는 메커니즘으로, Dead Letter Queue를 통해 처리되지 않은 메시지를 추적하고 분석할 수 있습니다.
• Multiple Tasks: 커넥터는 여러 작업을 동시에 실행하여 처리 성능을 높일 수 있습니다.
• Support for Kafka Record Value Types: Struct, Schemaless JSON, 그리고 JSON String과 같은 다양한 Kafka 레코드 값 유형을 지원합니다. 이를 통해 다양한 형식의 데이터를 처리할 수 있습니다.
• Batching Multiple Metrics: 여러 메트릭을 배치로 처리하여 효율적인 데이터 전송을 지원합니다.
• Metrics and Schemas: 메트릭 및 스키마 관련 정보를 다룰 수 있는 기능을 제공하여 데이터의 일관성과 구조를 유지합니다.
• Record Mapping: Kafka 레코드와 Datadog 메트릭 간의 매핑을 수행하여 데이터의 변환 및 적절한 형식으로 전달할 수 있습니다.

 

Datadog Metrics Sink Connector 설정 예시

connector.class=io.confluent.connect.datadog.metrics.DatadogMetricsSinkConnector
confluent.topic.bootstrap.servers=b-1.***.kafka.ap-northeast-2.amazonaws.com:9096,b-2.***.kafka.ap-northeast-2.amazonaws.com:9096
tasks.max=1
topics=test-topic
datadog.domain=COM
reporter.bootstrap.servers=b-1.***.kafka.ap-northeast-2.amazonaws.com:9096,b-2.***.kafka.ap-northeast-2.amazonaws.com:9096
behavior.on.error=ignore
datadog.api.key=*****

key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

 

 

Datadog Metrics Sink Connector 설정 예시2

connector.class=io.confluent.connect.datadog.metrics.DatadogMetricsSinkConnector
tasks.max=1
topics=dev.oms.return-stockin-box-center.receive.json

datadog.api.key=*****
datadog.domain=COM

key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

confluent.topic.bootstrap.servers=b-1.scmdevmsk.xdlvwz.c2.kafka.ap-northeast-2.amazonaws.com:9096,b-2.scmdevmsk.xdlvwz.c2.kafka.ap-northeast-2.amazonaws.com:9096

behavior.on.error=ignore
reporter.bootstrap.servers=b-1.scmdevmsk.xdlvwz.c2.kafka.ap-northeast-2.amazonaws.com:9096,b-2.scmdevmsk.xdlvwz.c2.kafka.ap-northeast-2.amazonaws.com:9096

auto.create.topics.enable=true

 

 

---

 

{
  "name": "datadog-metrics-sink",
  "config": {
    "connector.class": "com.datadoghq.connect.logs.DatadogLogsSinkConnector",
    "tasks.max": "1",
    "topics": "your_kafka_topic_name",
    "datadog.api.key": "your_datadog_api_key",
    "datadog.metrics": "your_metric_name",
    "reporter.bootstrap.servers": "your_kafka_bootstrap_servers",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",
    "value.converter.schemas.enable": "false"
  }
}

 

 

 

 

Datadog Metrics Sink Connector 플러그인 다운로드

https://www.confluent.io/hub/confluentinc/kafka-connect-datadog-metrics

Datadog Metrics Sink Connector

 

https://docs.confluent.io/kafka-connectors/datadog-metrics/current/overview.html