一架梯子,一头程序猿,仰望星空!

Logstash kafka input插件


kafka input插件 支持Logstash从kafka消息队列中的topic读取数据。

例子

input {
  # 配置kafka数据源
  kafka {
    # kafka服务器地址,多个地址使用逗号分隔
    bootstrap_servers => "localhost:9092"
    # 订阅的主题,支持订阅多个主题
    topics => ["logstash", "tizi365"]
    # 消费者线程数
    consumer_threads => 5
    # 消费组Id
    group_id => "logstash"
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "tizi365" 
  }
}

kafka Input插件参数

参数名类型默认值说明
bootstrap_serversstringlocalhost:9092kafka服务器地址,多个地址使用逗号分隔
topicsarray["logstash"]订阅的主题,支持订阅多个主题
consumer_threadsnumber1消费者线程数
group_idstringlogstash消费组Id
fetch_min_bytesnumber一次最少从服务器读取多少字节数据
fetch_max_bytesnumber一次最多从服务器读取多少字节数据