Flume Source
1、Flume’s Tiered Event Sources
collectorSource[(port)]
|
Collector source,监听端口汇聚数据
|
autoCollectorSource
|
通过master协调物理节点自动汇聚数据
|
logicalSource
|
逻辑source,由master分配端口并监听rpcSink
|
2、Flume’s Basic Sources
null
|
|
console
|
监听用户编辑历史和快捷键输入,只在node_nowatch模式下可用
|
stdin
|
监听标准输入,只在node_nowatch模式下可用,每行将作为一个event source
|
rpcSource(port)
|
由rpc框架(thrift/avro)监听tcp端口
|
text("filename")
|
一次性读取一个文本,每行为一个event
|
tail("filename"[,startFromEnd=false])
|
每行为一个event。监听文件尾部的追加行,如果startFromEnd为true,tail将从文件尾读取,如果为false,tail将从文件开始读取全部数据
|
multitail("filename"[,file2[,file3… ] ])
|
同上,同时监听多个文件的末尾
|
tailDir("dirname"[, fileregex=".*"[, startFromEnd=false[, recurseDepth=0]]])
|
监听目录中的文件末尾,使用正则去选定需要监听的文件(不包含目录),recurseDepth为递归监听其下子目录的深度
|
seqfile("filename")
|
监听hdfs的sequencefile,全路径
|
syslogUdp(port)
|
监听Udp端口
|
syslogTcp(port)
|
监听Tcp端口
|
syslogTcp1(port)
|
只监听Tcp端口的一个链接
|
execPeriodic("cmdline",ms)
|
周期执行指令,监听指令的输出,整个输出都被作为一个event
|
execStream("cmdline")
|
执行指令,监听指令的输出,输出的每一行被作为一个event
|
exec("cmdline"[,aggregate=false[,restart=false[,period=0]]])
|
执行指令,监听指令的输出,aggregate如果为true,整个输出作为一个event如果为false,则每行作为一个event。如果restart为true,则按period为周期重新运行
|
synth(msgCount,msgSize)
|
随即产生字符串event,msgCount为产生数量,msgSize为串长度
|
synthrndsize(msgCount,minSize,maxSize)
|
同上,minSize – maxSize
|
nonlsynth(msgCount,msgSize)
|
|
asciisynth(msgCount,msgSize)
|
Ascii码字符
|
twitter("username","pw"[,"url"])
|
尼玛twitter的插件啊
|
irc("server",port, "nick","chan")
|
|
scribe[(+port)]
|
Scribe插件
|
report[(periodMillis)]
|
生成所有physical node报告为事件源
|
分享到:
相关推荐
由于flume官方并未提供ftp,source的支持; 因此想使用ftp文件服务器的资源作为数据的来源就需要自定义ftpsource,根据github:https://github.com/keedio/flume-ftp-source,提示下载相关jar,再此作为记录。
flume抽取数据库数据的源码,可以自动检测数据库的sql语句是否更新
flume-ng-sql-source 该项目用于与sql数据库进行通信 当前支持SQL数据库引擎 在最后一次更新之后,该代码已与hibernate集成在一起,因此该技术支持的所有数据库均应正常工作。 编译与包装 $ mvn package 部署方式 ...
Flume配置文件kafkaSource 包含Intercepter,包含正则表达式。
flume断点续传覆盖jar,使用组件flume-taildir-source-1.9.0覆盖flume/bin目录下的jar即可
Flume NG SQS 插件 该项目提供了一个源插件,用于从 Amazon 的简单队列服务 ( ) 中提取消息,这是一个...sudo cp target/flume-sqs-source-1.0.0.jar /usr/lib/flume-ng/plugins.d/flume-sqs-source/lib/ 并将 AWS Jav
Flume自定义Source,数据不丢失,一致性,可以根据自己开发情况选择
一个简单的工程,已经设置各种配置,直接只用maven打包好就可以在flume工程包新建plugins.d/custom/lib 目录,并拷贝到下面,并将工程里面的conf文件拷贝到flume的conf目录下启动命令 nohup flume-ng agent -n ...
flume-ng-sql-source-1.5.1 flume连接数据库 很好用的工具
flume-ng-sql-source-1.5.3.jar,flume采集mysql数据jar包,将此文件拖入FLUME_HOME/lib目录下,如果是CM下CDH版本的flume,则放到/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib下,同样需要的包还有mysql-...
flume-ng-sql-source-1.5.2源码
flume-ng-sql-source-1.5.2.jar从数据库中增量读取数据到hdfs中的jar包
改了了flume的sqlsource的源码,直接可以根据时间做增量,解决了之前一定要使用递增主键的增量方式,可以使用任意字段做增量,使用起来更方便。
flume-ng从数据库抽取数据到kafka,支持按数据库中时间字段,准实时抽取实时数据。已经在oracle-kafka中长期测试可用
flume-ng-sql-source-release-1.5.2.jar 用flume-ng-sql-source 从数据库抽取数据到kafka,支持sql
flum支持ftp工具jarflum支持ftp工具jar
flume连接数据库