1、背景

• 将data路径下所有日志文件通过Flume采集到HDFS上
• 五分钟一个目录，一分钟形成一个文件

2、技术选型

flume中有三种可监控文件或目录的source，分别问exec、spooldir、taildir
exec：可通过tail -f命令去tail住一个文件，然后实时同步日志到sink
spooldir：可监听一个目录，同步目录中的新文件到sink,被同步完的文件可被立即删除或被打上标记。适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步。
taildir：可实时监控一批文件，并记录每个文件最新消费位置，agent进程重启后不会有重复消费的问题。
故本次选择 taildir – file – HDFS

3、配置agent

1. vi taildir-file-hdfs.conf
2. #agent_name
3. a1.sources=r1
4. a1.sinks=k1
5. a1.channels=c1
7. #source的配置
8. # source类型
9. a1.sources.r1.type = TAILDIR
10. # 元数据位置
11. a1.sources.r1.positionFile = /home/hadoop/data/bd/taildir_position.json
12. # 监控的目录
13. a1.sources.r1.filegroups = f1
14. a1.sources.r1.filegroups.f1=/home/hadoop/data/bd/.*log
15. a1.sources.r1.fileHeader = true
16. a1.sources.r1.interceptors = i1
17. a1.sources.r1.interceptors.i1.type = timestamp
19. #sink的配置
20. a1.sinks.k1.type = hdfs
21. a1.sinks.k1.hdfs.path = hdfs://hadoop001:9000/offline/%Y%m%d/%H%M
22. a1.sinks.k1.hdfs.useLocalTimeStamp = true
23. a1.sinks.k1.hdfs.filePrefix = bd
24. a1.sinks.k1.hdfs.fileSuffix = .log
25. a1.sinks.k1.hdfs.rollSize =67108864
26. a1.sinks.k1.hdfs.rollCount = 0
27. a1.sinks.k1.hdfs.rollInterval = 60
28. a1.sinks.k1.hdfs.round = true
29. a1.sinks.k1.hdfs.roundValue = 5
30. a1.sinks.k1.hdfs.roundUnit = minute
31. a1.sinks.k1.hdfs.minBlockReplicas = 1
32. a1.sinks.k1.hdfs.writeFormat = Text
33. a1.sinks.k1.hdfs.fileType=DataStream
35. #channel的配置
36. a1.channels.c1.type = file
37. a1.channels.c1.checkpointDir = /home/hadoop/data/checkpoint
38. a1.channels.c1.dataDirs = /home/hadoop/data
39. a1.channels.c1.capacity = 10000000
40. a1.channels.c1.transactionCapacity = 5000
42. #用channel链接source和sink
43. a1.sources.r1.channels = c1
44. a1.sinks.k1.channel =c1

4、启动flume

1. ./flume-ng agent \
2. –name a1 \
3. –conf $FLUME_HOME/conf \
4. –conf-file /home/hadoop/script/flume/taildir-file-hdfs.conf \
5. -Dflume.root.logger=INFO,console

5、模拟业务数据

• 编写shell脚本

1. vi 1.sh
2. #!/bin/bash
3. cat /home/hadoop/data/bd/1.log >> /home/hadoop/data/bd/bd.log
4. cat /home/hadoop/data/bd/2.log >> /home/hadoop/data/bd/bd.log
5. cat /home/hadoop/data/bd.log >> /home/hadoop/data/bd/bd.log
6. cat /home/hadoop/data/bd.log >> /home/hadoop/data/bd/bd1.log
7. cat /home/hadoop/data/bd/1.log >> /home/hadoop/data/bd/bd1.log
8. cat /home/hadoop/data/bd/2.log >> /home/hadoop/data/bd/bd1.log
9. cat /home/hadoop/data/bd/1.log >> /home/hadoop/data/bd/bd2.log
10. cat /home/hadoop/data/bd/2.log >> /home/hadoop/data/bd/bd2.log

• 编辑crontab，添加每分钟执行1.sh

1. [hadoop@hadoop001 data]$ chmod +x 1.sh
2. [hadoop@hadoop001 data]$ crontab -e
3. * * * * * sh /home/hadoop/data/1.sh

6、5分钟后查看HDFS的webui

文件夹目录

文件目录