kafka input插件 支持Logstash从kafka消息队列中的topic读取数据。
例子
input {
# 配置kafka数据源
kafka {
# kafka服务器地址,多个地址使用逗号分隔
bootstrap_servers => "localhost:9092"
# 订阅的主题,支持订阅多个主题
topics => ["logstash", "tizi365"]
# 消费者线程数
consumer_threads => 5
# 消费组Id
group_id => "logstash"
}
}
output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "tizi365"
}
}
kafka Input插件参数
参数名 | 类型 | 默认值 | 说明 |
bootstrap_servers | string | localhost:9092 | kafka服务器地址,多个地址使用逗号分隔 |
topics | array | ["logstash"] | 订阅的主题,支持订阅多个主题 |
consumer_threads | number | 1 | 消费者线程数 |
group_id | string | logstash | 消费组Id |
fetch_min_bytes | number | 一次最少从服务器读取多少字节数据 | |
fetch_max_bytes | number | 一次最多从服务器读取多少字节数据 |