Elasticsearch Reader

Elasticsearch Reader 是logkit提供的从Elasticsearch读取日志的配置方式

典型配置如下

    "reader":{
        "es_host":"http://localhost:9200",
        "meta_path":"./meta",
        "mode":"elastic",
        "es_limit_batch":"100",
        "es_index":"app-repo-123",
        "es_type": "type_app",
        "es_version":"3.x",
        "es_keepalive":"1d"
    },

1. Elasticsearch Reader 输出的是json字符串，需要使用json的parser解析。
2. es_host es的host地址以及端口
3. meta_path 是reader的读取offset的记录路径，记录es读取时的ScrollID，路径必须是一个文件夹。
4. mode 是读取方式，使用Elasticsearch Reader必须填写elastic。
5. es_limit_batch es一次获取的batch size，默认为100条一个batch。
6. es_index es的索引名称，必填。
7. es_type es的type名称
8. es_keepalive es reader一旦挂掉了，重启后可以继续读取数据的ID(Offset记录)在es服务端保存的时长，默认1d，写法按es的单位为准，m分钟,h小时,d天。
9. es_version 可通过该参数指定数据源Elasticsearch客户端版本，可选参数，目前支持3.x , 5.x，6.x 三个版本，默认为3.x 包含了Elasticsearch服务端(2.x)版本。
10. tag_file可选项，可以读取一个json格式的文件，并把json的数据作为标签附着在所有数据之上。典型的应用场景为一些机器或者容器相关的元数据存以json格式放在文件中，logkit发送的数据都带上这些元数据，以便查询时可以快速定位机器元数据，并根据元数据做报警等后续事宜。