SuperIT 专业IT技术社区之后端大数据与Devops

Kafka+Storm+HDFS 整合示例

Kafka+Storm+HDFS 整合示例消息通过各种方式进入到Kafka消息中间件，比如可以通过使用Flume来收集日志数据，然后在Kafka中路由暂存，然后再由实时计算程序Storm做实时分析，最后将结果保存在HDFS中，这时我们就需要将在Storm的Spout中读取Ka...

7年前 (2019-05-03) 26℃

未分类

基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台

搞懂分布式技术24：基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台: 2018年07月05日 22:06:21 黄小斜阅读数：1186更多所属专栏：分布式系统理论与实践 0背景介绍随着机器个数的增加、...

7年前 (2019-05-03) 30℃

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统 2018年08月01日 13:39:10 linge1995 阅读数：1758 运用场景：我们机器上每天或者定期都要跑很多任务，很多时候任务出现错误不能及时发现...

7年前 (2019-05-03) 40℃

storm

Storm+HBASE+MySQL 实时读取Kafka信息计算存储

7年前 (2019-05-03) 56℃

storm

storm消费kafka实现实时计算

7年前 (2019-05-03) 25℃

storm从kafka消息队列读取数据进行读写操作

7年前 (2019-05-03) 42℃

使用flume-ng+kafka+storm+mysql 搭建实时日志处理平台

使用flume-ng+kafka+storm+mysql 搭建实时日志处理平台 2018年02月07日 15:25:45 农村外出务工男阅读数：655 https://blog.csdn.net/charry_a/article/details/79279077 ...

7年前 (2019-05-03) 30℃

elasticsearch

Kafka+Storm+Elasticsearch整合实时数据分析实践

7年前 (2019-05-03) 26℃

Flume+Elasticsearch搭建实时日志分析系统

7年前 (2019-05-03) 24℃

flume+kafka+storm整合实现实时计算小案例

flume+kafka+storm整合实现实时计算小案例 2018年05月23日 10:39:21 little_strong13 阅读数：622 我们做数据分析的时候常常会遇到这样两个场景，一个是统计历史数据，这个就是要分析历史保存的日志。我们会使...

7年前 (2019-05-03) 45℃

基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台

基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台 2017年01月19日 16:51:50 cowboy_行者无疆阅读数：6648 基于Flume+Kafka+ Elasticsearch+Storm的海量日志...

7年前 (2019-05-03) 27℃

nginx

WAF安全应用防火墙(nginx+lua)

7年前 (2019-05-03) 26℃

nginx

杂谈篇-用lua在nginx中实现一个WAF

杂谈篇-用lua在nginx中实现一个WAF 2017年04月11日 09:41:02 sky彬阅读数：426 几年前，开始在公众视野中不断爆发出应用的安全问题。当时想着应用运维能否也能在nginx中为应用做一层防护，基于该前提下，在Nginx中用Lua...

7年前 (2019-05-03) 42℃

nginx

使用nginx lua实现网站统计中的数据收集

使用nginx lua实现网站统计中的数据收集 2016年07月05日 15:42:11 Linux运维阅读数：2688 导读网站数据统计分析工具是各网站站长和运营人员经常使用的一种工具，常用的有谷歌分析、百度统计和腾讯分析等等。所有这些统计...

7年前 (2019-05-03) 24℃

nginx安装ngx_kafka_module插件直接对接kafka集群

安装环境： centos 6.5 64位所需软件版本： jdk1.8.0_171 nginx-1.12.2.tar.gz kafka_2.11-0.10.2.1.tgz zookeeper-3.4.5.tar.gz scala-2.11....

7年前 (2019-05-03) 56℃

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来

假设最近一段时间内有10万个请求过来，其中1万次请求访问商品1，2万次请求访问商品2，3万次请求访问商品3，其他商品被访问次数均匀。请实时统计热点数据展示出来。说下主要的解决步骤： 1.分发层nginx将所有的请求hash分发到对应的应用层nginx，防止第一次请求落到了应用层...

7年前 (2019-05-03) 36℃

nginx+lua+kafka实现日志统一收集汇总

nginx+lua+kafka实现日志统一收集汇总 2016年08月18日 12:18:50 freeCalluo 阅读数：14691更多个人分类：服务器运维 [转载]原文出处:http://hot66hot.iteye.com/blog/22919...

7年前 (2019-05-03) 28℃

flume的配置详解

Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。它有一个基于流数据的简单而灵活的体系结构。它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。它使用一个简单的...

7年前 (2019-05-03) 25℃

spark

大数据架构入门总结（Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK）

大数据架构入门总结（Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK） 2017年04月25日 19:05:34 神经质的盛宴阅读数：1608 这两天学习了Flume + Kafka +...

7年前 (2019-05-03) 31℃

spark

基于Spark的电影推荐系统（包含爬虫项目、web网站、后台管理系统以及spark推荐系统）

基于Spark的电影推荐系统（包含爬虫项目、web网站、后台管理系统以及spark推荐系统）置顶 2018年04月19日 16:06:31 xl.zhang 阅读数：39786 标签：sparkssm项目爬虫python更多个人分类：【项目开发】所属专栏：大...

7年前 (2019-05-03) 25℃

sqoop

Sqoop学习之路（一）

Sqoop学习之路（一）讨论QQ：1586558083 目录一、概述二、工作机制三、安装 1、前提概述 2、软件下载 3、安装步骤四、Sqoop的基本命令基本操作示例五、Sqoop的数据导入 1、从RDBMS导入到HDFS中 2、把My...

7年前 (2019-05-03) 46℃

大数据

大数据架构开发挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化

大数据架构开发挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化置顶 2017年11月08日 07:38:41 iframework...

7年前 (2019-05-03) 43℃

spark

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统 https://blog.csdn.net/linge1995/article/details/81326146 2018年08月01日 13:39:10 linge1995...

7年前 (2019-05-03) 33℃

大数据

Hadoop，HBase，Storm，Spark到底是什么？

Hadoop，HBase，Storm，Spark到底是什么？ Hadoop=HDFS+Hive+Pig+… HDFS: 存储系统 MapReduce：计算系统 Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架 Pi...

7年前 (2019-05-03) 24℃

架构

大数据处理 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark

大数据处理 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark 2015年11月26日 14:10:42 w_j_w2010 阅读数：3849 摘要 storm简介场景伴随着信息科技日新月异的发展，信息呈现出...

7年前 (2019-05-03) 24℃

Flume实战之Taildir

Flume实战之Taildir 2019年01月22日 13:38:00 weixin_33675507 阅读数：72 1、背景将data路径下所有日志文件通过Flume采集到HDFS上五分钟一个目录，一分钟形成一个文件 2、技术选型 flume...

7年前 (2019-05-01) 39℃