登录
微信搜索superit|邀请体验：大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

最新发布 第4页

SuperIT技术开发社区之后端大数据与Devops

kafka

kafka consumer配置详解

kafka consumer配置详解
1、Consumer Group 与 topic 订阅 每个Consumer 进程都会划归到一个逻辑的Consumer Group中，逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅message 所在的topic的每一个Consumer Gro...

4个月前 (06-16) 3℃

kafka

Java kafka消息的发送与接收

Java kafka消息的发送与接收
　　在上节《kafka在windows上的安装、运行》中我们已在Windows上kafka环境搭建起来了，下面我们继续看我们用java如何调kafka发送和接收消息。 一.项目工程结构   二.详细代码 KafkaUtils.java package com....

4个月前 (06-16) 4℃

kafka

【Kafka】Producer配置

名称 描述 类型 默认值 bootstrap.servers kafka集群地址，ip+端口，以逗号隔开。不管这边配置的是什么服务器，客户端会使用所有的服务器。配置的列表只会影响初始发现所有主机。配置的格式应该是:ip:port,ip:port，因为配置的内容只是用...

4个月前 (06-16) 9℃

kafka

kafka认证和acl

kafka附带一个可插拔的ACL（Access Control List 访问控制列表），它使用zookeeper来存储。通过在server.properties中设置authorizer.class.name来启用： authorizer.class.name=kafka....

4个月前 (06-16) 3℃

kafka

Kafka系列之新旧版本区别和bootstrap-servers vs zookeeper

Kafka系列之新旧版本区别和bootstrap-servers vs zookeeper
前者是老版本的用法，0.8以前的kafka，消费的进度(offset)是写在zk中的，所以consumer需要知道zk的地址。后来的版本都统一由broker管理，所以就用bootstrap-server了。bootstrap-server还可以自动发现其它的broker。 1.b...

4个月前 (06-16) 2℃

未分类

Kafka实践1–Producer

一、Kafka设计原理参考： http://blog.csdn.net/suifeng3051/article/details/48053965?locationNum=2 http://www.cnblogs.com/metoy/p/4452124.html   ...

4个月前 (06-16) 4℃

SEO

百度权重、360权重、Google PR值详解

百度权重、360权重、Google PR值详解
Google权重相信大家都有所了解，在这里重复一下，PR值全称为PageRank(网页级别)，PR值是Google用于标识网页的等级、重要性、网站的好坏的重要标准之一。级别从0到10级为满分。PR值越高说明该网页越受欢迎。例如：一个PR值为1的网站表明这个网站不太具有流行度，而P...

4个月前 (06-15) 4℃

docker

Serverless Container 的架构设计和应用场景

Serverless Container 的架构设计和应用场景
本演讲将向用户展现 Serverless Container 架构设计原理以及背后的思考，展示如何基于 virtual kubelet 技术分离 Kubernetes 编排层和资源池，让 Kubernetes 集群的弹性得到极大的扩展。除了架构设计，同时也将介绍 Serve...

4个月前 (06-14) 3℃

日志采集

Splunk安装教程（以4.3.4版本为例）

Splunk 分索引器和转发器。类似Server和client的概念。 转发器将本地应用日志生成索引发往服务端。日志统一在服务器侧查看。 Splunk索引器（Server） 设置接受splunk forwarder发送来的数据. 下载splunk软件包，并解压，直接启动即可。 t...

4个月前 (06-13) 4℃

ansible

ansible自动化运维 技术与最佳实践

  Ansible介绍 Ansible是基于Python开发的自动化运维工具，它汇集了众多运维工具（puppet、cfengine、chef、func、fabric、salt等）的优点，实现批量系统配置、批量程序部署、批量执行命令等功能。Ansible本身只是提供一种框...

4个月前 (06-12) 7℃

随记

同花顺快捷键使用说明,抓龙头股技巧同花顺，

篇一:《同花顺使用说明》 同花顺使用说明 1.进入系统 要进入“同花顺”，有以下几种方法： 双击桌面上的 图标，即可直接进入； 从程序组中进入，即沿着开始→程序→核新软件→“同花顺” ，也可进入本系统。 2．退出系统 要退出“同花顺”，有以下几种方法： 按 Alt+F4 ； 用鼠...

4个月前 (06-12) 5℃

shell

ssh-keygen命令的参数说明

ssh-keygen命令是不是会用到,放久了有些参数又忘记. ssh-keygen – 生成、管理和转换认证密钥 ssh-keygen [-q] [-b bits] -t type [-N new_passphrase] [-C comment] [-foutput...

4个月前 (06-12) 4℃

spark

美团spark面试题

文章目录 1、Spark Application在没有获得足够的资源，job就开始执行了，可能会导致什么问题发生? 2、driver的功能是什么？ 3、Spark中Work的主要工作是什么？ 4、Spark为什么比mapreduce快？ 5、Mapreduce和Spark的都是并...

4个月前 (06-10) 10℃

持续集成

编译安装openssh最新版本

注意: 编译安装openssh新版本之前, 最好先安装telnet服务, 万一sshd服务被你操作挂了, 还有替代的telnet服务可以提供远程连接, 笔者就是在安装过程中遇到过此问题, 最后拖了两天时间, 各种找领导, 然后登录堡垒机直接操作Centos虚拟机, 才解决问题!!...

5个月前 (06-05) 11℃

随记

微信怎么修改微信号

微信怎么修改微信号
微信最近修改了规则, 原本没法修改微信号的, 现在可以自行修改微信号了, 个性的微信昵称 一定要配上个性的微信号, 当然了, 这是有条件的,一年只可以修改一次,是不是很可爱呢? 大家跟我来设置一下自己个性的微信号吧. 具体的操作步骤: 首先需要登录公众平台 点击公众号设置 点击...

5个月前 (06-05) 9℃

jmeter

随笔分类 – jmeter

jmeter 参数化，关联参数，断言等使用说明 摘要：不管是jmeter还是LoadRunner，参数化、关联参数、断言等方法在压测过程中经常使用。本文介绍在 jmeter 中的用法。 一、参数化 jmeter 对数据参数化的三种实现方式。 1.CSV Data Set Co...

5个月前 (05-17) 7℃

jenkins

jenkins + pipeline构建自动化部署

jenkins + pipeline构建自动化部署
一、引言 Jenkins 2.x的精髓是Pipeline as Code，那为什么要用Pipeline呢？jenkins1.0也能实现自动化构建，但Pipeline能够将以前project中的配置信息以steps的方式放在一个脚本里，将原本独立运行于单个或者多个节点的任务...

5个月前 (05-17) 4℃

ansible

Ansible详解（一）基础安装和配置

Ansible详解（一）基础安装和配置 作者: 51reboot | 来源:发表于2018-06-25 11:19 被阅读5次 Ansible详解（一）基础安装和配置 [ansible] ansible的安装，配置和使用 Ansible安装配置和基本使用 Ansible...

5个月前 (05-17) 4℃

jenkins

Gitlab+Jenkins学习之路（十四）之自动化脚本部署实践

Gitlab+Jenkins学习之路（十四）之自动化脚本部署实践
Gitlab+Jenkins学习之路（十四）之自动化脚本部署实践 目录 一、环境说明和准备 1、环境说明 2、服务器准备工作 （1）发布机前期准备 a.增加普通用户并配置密码 b.创建部署需要的目录并初始化git目录 c.创建配置文件config.php d.配置...

5个月前 (05-17) 4℃

shell

shell 上线脚本（跳板机部署版）

  为了跳板机部署上线脚本写了公司生产上线脚本，供大家参考。上线脚本分为三个脚本组合，详细使用如例子 ： 1.1 第一步 上传上线所需要 部署文件   提示：不管是使用XSHELL 还是 rz 将文件 上传,有旧文件需要删除 –rw–...

5个月前 (05-17) 4℃

jenkins

Gitlab+Jenkins学习之路（十）之Jenkins按角色授权和Pipeline

一、Jenkins按角色授权 当一个公司的开发分为多个组别，或者是多个项目等等。用于公司内部测试，让开发人员自行构建测试，此时不可能让所有的开发都在公用一个构建，这样变得很混乱，为了解决这一问题，jenkins也提供了角色授权的机制。每个开发有着对应的账号和权限，可以...

5个月前 (05-17) 4℃

nginx

Nginx的集群和负载均衡

Nginx的集群和负载均衡
撸了今年阿里、腾讯和美团的面试，我有一个重要发现…….>> Nginx的集群和负载均衡 负载均衡配置案例1 设置上游服务器: # 设置上游服务器: upstream imgserver{ #weight权重 maxfails错误次数 fail...

5个月前 (05-17) 4℃

kibana

kibana操作

一、查询和查看。 #1.查询所有的数据 GET _search { “query”: { “match_all”:{} } } #2. 查看ES集群的健康状态 GET _cat/health # 查看详细信息 GET _cat/he...

5个月前 (05-14) 5℃

spark

SparkSQL读取HBase数据

关键字： Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spark-sql cli（关于SparkSQL和Hive的整合，见文章后面的参考阅读）. 本...

6个月前 (05-08) 5℃

spark

SparkSQL读取HBase数据，通过自定义外部数据源

关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源 前面文章介绍了SparSQL通过Hive操作HBase表。 SparkSQL从1.2开始支持自定义外部数据源(External DataSource)，这样就可以通过API接口来实现自己的外部数据源。这里...

6个月前 (05-08) 4℃

docker

Docker swarm部署微服务及利用portainer管理集群

Docker swarm部署微服务及利用portainer管理集群
1.微服务部署 在前面部署的集群上部署服务，以前通过docker run可以部署一个容器，通过docker-compose文件可以编排一组容器，现在可以利用docker service在swarm集群中通过服务下发任务到节点的方式部署容器副本集，甚至可以利用docker-com...

6个月前 (05-08) 5℃

docker

10_docker集群管理工具portainer

10_docker集群管理工具portainer 环境搭建 master:172.18.148.169 slave1:172.18.148.168 安装docker 1.13.1 参考文档安装：在特定环境中安装指定版本的Docker ubuntu14.04 修...

6个月前 (05-08) 15℃