aide_941的文章

elasticsearch

Kafka+Storm+Elasticsearch整合实时数据分析实践

6年前 (2019-05-03) 26℃

日志采集

Flume+Elasticsearch搭建实时日志分析系统

6年前 (2019-05-03) 24℃

日志采集

flume+kafka+storm整合实现实时计算小案例

flume+kafka+storm整合实现实时计算小案例 2018年05月23日 10:39:21 little_strong13 阅读数：622 我们做数据分析的时候常常会遇到这样两个场景，一个是统计历史数据，这个就是要分析历史保存的日志。我们会使...

6年前 (2019-05-03) 45℃

日志采集

基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台

基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台 2017年01月19日 16:51:50 cowboy_行者无疆阅读数：6648 基于Flume+Kafka+ Elasticsearch+Storm的海量日志...

6年前 (2019-05-03) 27℃

nginx

WAF安全应用防火墙(nginx+lua)

6年前 (2019-05-03) 26℃

nginx

杂谈篇-用lua在nginx中实现一个WAF

杂谈篇-用lua在nginx中实现一个WAF 2017年04月11日 09:41:02 sky彬阅读数：426 几年前，开始在公众视野中不断爆发出应用的安全问题。当时想着应用运维能否也能在nginx中为应用做一层防护，基于该前提下，在Nginx中用Lua...

6年前 (2019-05-03) 42℃

nginx

使用nginx lua实现网站统计中的数据收集

使用nginx lua实现网站统计中的数据收集 2016年07月05日 15:42:11 Linux运维阅读数：2688 导读网站数据统计分析工具是各网站站长和运营人员经常使用的一种工具，常用的有谷歌分析、百度统计和腾讯分析等等。所有这些统计...

6年前 (2019-05-03) 24℃

kafka

nginx安装ngx_kafka_module插件直接对接kafka集群

安装环境： centos 6.5 64位所需软件版本： jdk1.8.0_171 nginx-1.12.2.tar.gz kafka_2.11-0.10.2.1.tgz zookeeper-3.4.5.tar.gz scala-2.11....

6年前 (2019-05-03) 56℃

kafka

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来

假设最近一段时间内有10万个请求过来，其中1万次请求访问商品1，2万次请求访问商品2，3万次请求访问商品3，其他商品被访问次数均匀。请实时统计热点数据展示出来。说下主要的解决步骤： 1.分发层nginx将所有的请求hash分发到对应的应用层nginx，防止第一次请求落到了应用层...

6年前 (2019-05-03) 36℃

kafka

nginx+lua+kafka实现日志统一收集汇总

nginx+lua+kafka实现日志统一收集汇总 2016年08月18日 12:18:50 freeCalluo 阅读数：14691更多个人分类：服务器运维 [转载]原文出处:http://hot66hot.iteye.com/blog/22919...

6年前 (2019-05-03) 28℃

Flume

flume的配置详解

Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。它有一个基于流数据的简单而灵活的体系结构。它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。它使用一个简单的...

6年前 (2019-05-03) 25℃

spark

大数据架构入门总结（Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK）

大数据架构入门总结（Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK） 2017年04月25日 19:05:34 神经质的盛宴阅读数：1608 这两天学习了Flume + Kafka +...

6年前 (2019-05-03) 31℃

spark

基于Spark的电影推荐系统（包含爬虫项目、web网站、后台管理系统以及spark推荐系统）

基于Spark的电影推荐系统（包含爬虫项目、web网站、后台管理系统以及spark推荐系统）置顶 2018年04月19日 16:06:31 xl.zhang 阅读数：39786 标签：sparkssm项目爬虫python更多个人分类：【项目开发】所属专栏：大...

6年前 (2019-05-03) 25℃

sqoop

Sqoop学习之路（一）

Sqoop学习之路（一）讨论QQ：1586558083 目录一、概述二、工作机制三、安装 1、前提概述 2、软件下载 3、安装步骤四、Sqoop的基本命令基本操作示例五、Sqoop的数据导入 1、从RDBMS导入到HDFS中 2、把My...

6年前 (2019-05-03) 46℃

大数据

大数据架构开发挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化

大数据架构开发挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化置顶 2017年11月08日 07:38:41 iframework...

6年前 (2019-05-03) 43℃

spark

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统 https://blog.csdn.net/linge1995/article/details/81326146 2018年08月01日 13:39:10 linge1995...

6年前 (2019-05-03) 33℃

大数据

Hadoop，HBase，Storm，Spark到底是什么？

Hadoop，HBase，Storm，Spark到底是什么？ Hadoop=HDFS+Hive+Pig+… HDFS: 存储系统 MapReduce：计算系统 Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架 Pi...

6年前 (2019-05-03) 24℃

架构

大数据处理 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark

大数据处理 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark 2015年11月26日 14:10:42 w_j_w2010 阅读数：3849 摘要 storm简介场景伴随着信息科技日新月异的发展，信息呈现出...

6年前 (2019-05-03) 24℃

Flume

Flume实战之Taildir

Flume实战之Taildir 2019年01月22日 13:38:00 weixin_33675507 阅读数：72 1、背景将data路径下所有日志文件通过Flume采集到HDFS上五分钟一个目录，一分钟形成一个文件 2、技术选型 flume...

6年前 (2019-05-01) 39℃

Flume

Flume内置channel,source,sink三组件介绍

导读： 1.什么是channel？ 2.什么是source？ 3.什么是sink？ 4.直接读取文件Source,有哪两种方式？ 5.Channel有几种方式？ 6.Sink在设置存储数据时，数据较多，较少的情况下，该如何处理？看了一下Flume中央日志系统（版本号：1.3....

6年前 (2019-05-01) 34℃

storm

Kafka+Storm+HDFS整合实践

Kafka+Storm+HDFS整合实践 2014-10-21 19:24:19 Yanjun 在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用...

6年前 (2019-05-01) 32℃

Flume

flume-ng命令

flume-ng命令 2018年05月31日 10:20:14 Jay7925417 阅读数：982 flume-ng命令帮助： [root@hadoop01 apache-flume-1.6.0-bin]# ./bin/flume-ng help Usa...

6年前 (2019-05-01) 36℃

Flume

Flume 日志收集、使用Flume收集日志到HDFS

6年前 (2019-05-01) 35℃

Flume

Flume的hdfsSink的roll参数不生效的原因（日志上传hdfs）

Flume的hdfsSink的roll参数不生效的原因（日志上传hdfs） 2017年11月30日 15:51:25 lsr40 阅读数：4768 首先，本人菜鸡一个，只是分享点东西出来，怕自己忘了，也给各位大佬填填坑当当垫背的！事情是这样的：测试： ...

6年前 (2019-04-30) 25℃

Flume

Flume Taildir Source监听实时追加内容的文件

6年前 (2019-04-30) 39℃

Flume

flume采集到HDFS

一、flume采集到HDFS 1、flume安装准备 jdk1.8安装： https://www.cnblogs.com/zeze/p/5902124.html java -version 2、flume安装下载 wget http://mirrors.tuna.tsing...

6年前 (2019-04-30) 23℃

Flume

Flume中的HDFS Sink配置参数说明

Flume中的HDFS Sink配置参数说明 Flume lxw1234@qq.com 4年前 (2015-10-16) 27624℃ 1评论关键字：flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多...

6年前 (2019-04-30) 21℃

shell

shuf 随机选取txt文件特定行数

shuf 随机选取txt文件特定行数 2018年05月28日 16:00:44 Qidian213 阅读数：239 一，多个 txt 文件合并为一个txt 文件现有 neg_12.txt , part_12.txt , pos_12.txt ...

6年前 (2019-04-30) 38℃

Flume

flume 启动，停止，重启脚本

flume 启动，停止，重启脚本 #!/bin/bash #echo "begin start flume..." #flume的安装根目录（根据自己情况，修改为自己的安装目录） path=/sysware/apache-flume-1.8.0-bin ...

6年前 (2019-04-30) 21℃

hadoop

HDFS基本文件常用命令

为了每次执行Hadoop的时候，不必须要前者加上hadoop的安装的绝对路径，要做的事情就是将其安装路径加入到PATH中，这样就可以直接执行hadoop命令。如下： vim /etc/profile中加入一句 export HADOOP_INSTALL=/usr/local/h...

6年前 (2019-04-30) 21℃

上一页
1
···
19
20
21
22
23
24
25
26
27
...
下一页