大数据小白必知必会之Flume完成过滤器作用

  博主是一名大数据的初学者，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一种原因是为了记载自己的学习进程，一种原因是期望能够协助到许多和自己相同处于起步阶段的萌新。由于水平有限，博客中不免会有一些过错，有疏忽之处恳请各位大佬不吝赐教！个人小站:博客主页:

  虽然其时水平或许不及各位大佬，但我仍是期望自己能做得更好，由于一天的日子便是终身的缩影。我期望在最美的岁月，做最好的自己！

  在差不多一年前，菌刚触摸Flume那会，写了一篇关于Flume的博客。今日无意间翻到，才发现其时介绍的内容是多么的粗浅，所以菌计划再为咱们介绍如安在Flume中完成过滤器的操作。

  需求留意的是：static的功用便是往收集到的数据的header中刺进自己界说的key-value键值对

  为了便利调查收集的成果，咱们分别在node01和node02上开发shell脚本，模仿数据生成。

  能够发现跟着咱们shell脚本的发动，数据被不断的追加到指定的监控文件中，node01和node02在检测到改变之后，将改变的内容在node03进行汇总，然后node03依据界说的不同出产日志类型，关于进行“过滤”输出到HDFS的不同目录下。

  本篇博客作者简略为咱们介绍了一种Flume的运用示例，如果有看不太懂的小伙伴主张与这篇文章一同食用。当然，都看过的小伙伴或许也会感觉仍是少了些内容，例如Flume的自界说监控，选择器，Sink组，还有Flume的web端监控——Ganglia等等…咱们Duck不必忧虑，接下来的几篇博客，博主将具体的介绍这些关于Flume的“干货”，敬请期待!!!

  转载：检查谈论* 以上用户言辞只代表其个人自己的观念，不代表本网站的观念或态度