登录
微信搜索superit|邀请体验：大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

最新发布 第24页

SuperIT专业IT技术社区之后端大数据与Devops

日志采集

Kafka+Storm+HDFS 整合示例

Kafka+Storm+HDFS 整合示例 消息通过各种方式进入到Kafka消息中间件，比如可以通过使用Flume来收集日志数据，然后在Kafka中路由暂存，然后再由实时计算程序Storm做实时分析，最后将结果保存在HDFS中，这时我们就需要将在Storm的Spout中读取Ka...

7年前 (2019-05-03) 26℃

storm

Storm+HBASE+MySQL 实时读取Kafka信息计算存储

Storm+HBASE+MySQL 实时读取Kafka信息计算存储
Storm+HBASE+MySQL 实时读取Kafka信息计算存储 2018年06月05日 14:57:30 胡卡卡啦啦 阅读数：802  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/random0815...

7年前 (2019-05-03) 56℃

storm

storm消费kafka实现实时计算

storm消费kafka实现实时计算
storm消费kafka实现实时计算 2016年09月05日 15:53:05 超人汪小建(seaboat) 阅读数：9367  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wangyangzhizhou...

7年前 (2019-05-03) 25℃

kafka

storm从kafka消息队列读取数据进行读写操作

storm从kafka消息队列读取数据进行读写操作 2019年01月02日 17:04:29 Go Big Or Go Home 阅读数：7290更多 所属专栏： Kafka  版权声明：“假装、是个有灵魂的程序员” —— Go Big Or Go Hom...

7年前 (2019-05-03) 42℃

日志采集

Flume+Elasticsearch搭建实时日志分析系统

Flume+Elasticsearch搭建实时日志分析系统
Flume+Elasticsearch搭建实时日志分析系统 置顶 2015年10月30日 15:06:27 qianshanding0708 阅读数：6843  版权声明：本文为博主原创文章，未经博主允许不得转载。博客地址：http://blog.csdn....

7年前 (2019-05-03) 24℃

日志采集

flume+kafka+storm整合实现实时计算小案例

flume+kafka+storm整合实现实时计算小案例
flume+kafka+storm整合实现实时计算小案例 2018年05月23日 10:39:21 little_strong13 阅读数：622     我们做数据分析的时候常常会遇到这样两个场景，一个是统计历史数据，这个就是要分析历史保存的日志。我们会使...

7年前 (2019-05-03) 45℃

nginx

WAF安全应用防火墙(nginx+lua)

WAF安全应用防火墙(nginx+lua) 2017年06月26日 09:58:47 幸福丶如此 阅读数：3704  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/m0_37886429/article/d...

7年前 (2019-05-03) 26℃

nginx

杂谈篇-用lua在nginx中实现一个WAF

杂谈篇-用lua在nginx中实现一个WAF
杂谈篇-用lua在nginx中实现一个WAF 2017年04月11日 09:41:02 sky彬 阅读数：426 几年前，开始在公众视野中不断爆发出应用的安全问题。当时想着应用运维能否也能在nginx中为应用做一层防护，基于该前提下，在Nginx中用Lua...

7年前 (2019-05-03) 42℃

nginx

使用nginx lua实现网站统计中的数据收集

使用nginx lua实现网站统计中的数据收集
使用nginx lua实现网站统计中的数据收集 2016年07月05日 15:42:11 Linux运维 阅读数：2688 导读 网站数据统计分析工具是各网站站长和运营人员经常使用的一种工具，常用的有 谷歌分析、百度统计和腾讯分析等等。所有这些统计...

7年前 (2019-05-03) 24℃

kafka

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来
假设最近一段时间内有10万个请求过来，其中1万次请求访问商品1，2万次请求访问商品2，3万次请求访问商品3，其他商品被访问次数均匀。请实时统计热点数据展示出来。 说下主要的解决步骤： 1.分发层nginx将所有的请求hash分发到对应的应用层nginx，防止第一次请求落到了应用层...

7年前 (2019-05-03) 36℃

kafka

nginx+lua+kafka实现日志统一收集汇总

nginx+lua+kafka实现日志统一收集汇总
nginx+lua+kafka实现日志统一收集汇总 2016年08月18日 12:18:50 freeCalluo 阅读数：14691更多 个人分类： 服务器运维 [转载]原文出处:http://hot66hot.iteye.com/blog/22919...

7年前 (2019-05-03) 28℃

Flume

flume的配置详解

Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的...

7年前 (2019-05-03) 25℃

sqoop

Sqoop学习之路 （一）

Sqoop学习之路 （一）
Sqoop学习之路 （一） 讨论QQ：1586558083 目录 一、概述 二、工作机制 三、安装 1、前提概述 2、软件下载 3、安装步骤 四、Sqoop的基本命令 基本操作 示例 五、Sqoop的数据导入 1、从RDBMS导入到HDFS中 2、把My...

7年前 (2019-05-03) 46℃

大数据

Hadoop，HBase，Storm，Spark到底是什么？

Hadoop，HBase，Storm，Spark到底是什么？ Hadoop=HDFS+Hive+Pig+… HDFS: 存储系统 MapReduce：计算系统 Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架 Pi...

7年前 (2019-05-03) 24℃

Flume

Flume实战之Taildir

Flume实战之Taildir
Flume实战之Taildir 2019年01月22日 13:38:00 weixin_33675507 阅读数：72 1、背景 将data路径下所有日志文件通过Flume采集到HDFS上 五分钟一个目录，一分钟形成一个文件 2、技术选型 flume...

7年前 (2019-05-01) 39℃

Flume

Flume内置channel,source,sink三组件介绍

Flume内置channel,source,sink三组件介绍
导读： 1.什么是channel？ 2.什么是source？ 3.什么是sink？ 4.直接读取文件Source,有哪两种方式？ 5.Channel有几种方式？ 6.Sink在设置存储数据时，数据较多，较少的情况下，该如何处理？ 看了一下Flume中央日志系统（版本号：1.3....

7年前 (2019-05-01) 34℃

storm

Kafka+Storm+HDFS整合实践

Kafka+Storm+HDFS整合实践  2014-10-21 19:24:19    Yanjun 在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用...

7年前 (2019-05-01) 32℃

Flume

flume-ng命令

flume-ng命令
flume-ng命令 2018年05月31日 10:20:14 Jay7925417 阅读数：982 flume-ng命令帮助： [root@hadoop01 apache-flume-1.6.0-bin]# ./bin/flume-ng help Usa...

7年前 (2019-05-01) 36℃