最新发布第3页

SuperIT专业IT技术社区之后端大数据与Devops

php正则解析nginx的access log

对于nginx的日志分析，awstats + jawstats 是一个很好的解决方案最近有个任务需要对接口的调用做二次分析统计，于是用php写了个正则解析日志，用Highcharts报表, nginx.conf 对log的默认格式是这样定义的 log_format ac...

2年前 (2021-05-25) 5℃

mysql

MySQL乐观锁、共享锁、排他锁、行锁、表锁区别和使用方法

https://blog.csdn.net/kuishao1314aa/article/details/109219168 数据库锁分类锁模式分类乐观锁、悲观锁范围锁行锁、表锁算法锁临间锁、间隙锁、记录锁属性锁共享锁(读锁)、排他锁(写锁) 状态锁 ...

2年前 (2021-04-07) 7℃

go分布式

go分布式: https://blog.csdn.net/sureSand/article/details/79826416 https://blog.csdn.net/qq_25490573/article/details/107287198 etc...

2年前 (2021-04-06) 4℃

未分类

你了解beego框架的生命周期吗?

就是下面这个定义: type ControllerInterface interface { Init(ct *context.Context, controllerName, actionName string, app interface{}) Prepare(...

2年前 (2021-04-01) 4℃

Golang 推荐的命名规范

Golang 推荐的命名规范很少见人总结一些命名规范，也可能是笔者孤陋寡闻，作为一个两年的golang 开发者，我根据很多知名的项目，如 moby, kubernetess 等总结了一些常见的命名规范。命名规范可以使得代码更容易与阅读，更少的出现错误。如有不同意见欢迎...

2年前 (2021-03-30) 3℃

构建微服务的十大 Go 框架/库 polarisxu Go语言中文网

现在，很多开源库都支持构建应用程序。我应该向你推荐一些库，它们可以帮助启动具有简单设计、干净代码和良好性能的项目。 01 CLI 命令(spf13/cobra) 你想要构建一些 CLI 命令吗？ Cobra 既是一个用于创建强大的现代 CLI 应用程序的库，也是一个用于生成应...

2年前 (2021-03-04) 5℃

spark

最简单的spark实例

hadoop-node web-ui: http://192.168.1.10:50070/ spark web-ui: http://192.168.1.10:8080/ spark的url: http://192.168.1.10:7077 1.创建一个scala项...

2年前 (2021-01-28) 7℃

架构

观察者模式与事件监听模式的具体实现

目录 [隐藏] 1 观察者模式 1.1 模式介绍 1.2 实现 2 事件监听模式本文概览：介绍观察者模式与事件监听模式。 1 观察者模式 1.1 模式介绍 1、定义观察者模式定义了对象之间的一对多依赖，即，一个主题对应多个观察者。当一个主题对象改...

2年前 (2021-01-11) 7℃

架构

SpringCloud配置Hystrix服务熔断和降级案例

一、引入Hystrix相关的jar <!– hystrix –> <dependency> <groupId>org.springframework.cloud</grou...

2年前 (2021-01-03) 4℃

架构

应对接口级故障：服务降级、熔断、限流、排队

1.Eureka、Zookeeper、Consul 用作服务注册中心、2.Robbin、OpenFeign 用于服务调用+负载均衡。接下来就来了解 Hystrix 断路器的使用。在了解 Hystrix 断路器前，我们先来分析分布式系统面临的一些问题。针对这些问题，再引入...

2年前 (2021-01-03) 3℃

架构

微服务中的治理

引言：上篇文章介绍了微服务和单体架构的区别、微服务的设计、消息、服务间通信、数据去中心化，本篇会继续深入微服务，介绍其它特性。治理去中心化通常“治理”的意思是构建方案，并且迫使人们通过努力达到组织的目标。SOA治理指导开发者开发可重用的服务，以及随着时间推移，服务应该怎么被设...

2年前 (2021-01-03) 3℃

架构

微服务发现机制

本文来自Nginx官方博客，这是微服务架构序系列的第四篇文章。作者总共发布了七篇关于微服务的系列文章，在第一文章中介绍了传统的单体式应用的不足，以及微服务架构的优势与挑战。在第二和第三骗文章中描述了微服务内部通信方面的内容。在这篇文章中，主要探讨微服务系统的服务发现的相关问题。 ...

2年前 (2021-01-03) 2℃

架构

业界常用的服务注册与发现组件对比

了解服务注册与发现的基本原理后，如果你要在项目中使用服务注册与发现组件，当面对众多的开源组件该如何进行技术选型？在互联网公司里，有研发实力的大公司一般会选择自研或者基于开源组件进行二次开发，但是对于中小型公司来说直接选用一款开源软件会是一个不错的选择。常用的注册与发现组件有...

2年前 (2021-01-03) 4℃

架构

你了解分布式吗?分布式系统基本理论指标

一、分布式系统现如今，摩尔定律(https://baike.baidu.com/item/%E6%91%A9%E5%B0%94%E5%AE%9A%E5%BE%8B/350634?fr=aladdin)的影响已经严重衰减甚至近于失效，但我们却实实在在地看到了计算能力的大幅度提升...

2年前 (2020-12-31) 6℃

Golang开发新手常犯的50个错误

《50 Shades of Go: Traps, Gotchas, and Common Mistakes for New Golang Devs》原文地址：http://devs.cloudimmunity.com/gotchas-and-common-mistakes-i...

2年前 (2020-12-29) 7℃

Golang精编100题

能力模型级别模型初级 primary 熟悉基本语法，能够看懂代码的意图；在他人指导下能够完成用户故事的开发，编写的代码符合CleanCode规范；中级 intermediate 能够独立完成用户故事的开发和测试；能够嗅...

2年前 (2020-12-29) 3℃

spark

20个spark实战项目列表,百度搜

这篇介绍是我看到过最详尽的，讲到很多Spark基本原理和对比Hadoop的优势，推荐必读。 1、【使用 SparkSQL 分析纽约市犯罪数据】 2、【Kmeans聚类算法评估足球比赛】 3、【使用决策树算法预测森林植被】 4、【Spark 机器学习之电影推荐系统...

2年前 (2020-12-29) 3℃

dubbo

分布式RPC框架性能大比拼 dubbo、motan、rpcx、gRPC、thrift的性能比较

其它的一些知名电商如当当、京东、国美维护了自己的分支或者在 dubbo 的基础开发，但是官方的库缺乏维护，相关的依赖类比如 Spring，Netty 还是很老的版本(Spring 3.2.16.RELEASE, netty 3.2.5.Final)，倒是有些网友写...

2年前 (2020-12-29) 3℃

Golang精编100题

能力模型级别模型初级 primary 熟悉基本语法，能够看懂代码的意图；在他人指导下能够完成用户故事的开发，编写的代码符合CleanCode规范；中级 intermediate 能够独立完成用户故事的开发...

2年前 (2020-12-29) 2℃

Golang开发新手常犯的50个错误

《50 Shades of Go: Traps, Gotchas, and Common Mistakes for New Golang Devs》原文地址：http://devs.cloudimmunity.com/gotchas-and-common-mis...

2年前 (2020-12-29) 2℃

java

docker制作镜像文件问题standard_init_linux.go:211: exec user process caused “no such file or direct

启动容器：docker run -p 9080:9080 -v /root/app:/home/java app:v1.1 报错：standard_init_linux.go:211: exec user process caused “n...

2年前 (2020-12-29) 2℃

Golang build 填坑笔记

从一个bug说起 bug描述在尝试用docker的alpine镜像运行从golang镜像中编译出来的可执行文件时出现如下的错误 standard_init_linux.go:211: exec user process caused "no such file...

2年前 (2020-12-29) 3℃

python

Python—在Django中使用Celery

Python—在Django中使用Celery 一.Django中的请求　　Django Web中从一个http请求发起，到获得响应返回html页面的流程大致如下：　　　　http请求发起　　　　经过中间件　　　http handl...

2年前 (2020-12-29) 3℃

kafka

kafka 设置消费group为最新offset

import org.apache.kafka.clients.consumer.ConsumerConfig import org.apache.kafka.tools.OffsetManager import java.{uti...

2年前 (2020-12-29) 3℃

kafka

rsyslog 接入权限认证的Kafka集群

说明： kafka权限接入包含两种方式，了解具体接入可参考本案例使用kafka的第二种使用方式，案例如下： Icon SparkConf sparkConf = new SparkConf() .setAppName("JavaSparkStream...

2年前 (2020-12-29) 2℃

kafka

kafka单条日志超过1M解决方案

一、说明 kafka默认会丢弃超过单调日志超过1M的记录。如果单条日志超出1M（压缩后），客户端会报出如下错误。错误日志 Icon java.util.concurrent.ExecutionException: org.apache.kafka.commo...

2年前 (2020-12-29) 4℃

kafka

(强烈推荐)log+filebeat+kafka+logstash+es配置, filebeat连不上kafka原因解析!!!

# 通常架构 # filebeat=>kafka=>logstash=>elasticsearch=>kibana 1.filebeat的配置: # filebeat/config/filebeat.yml: ...

2年前 (2020-12-29) 2℃

kafka

logstash的各个场景应用（配置文件均已实践过）

场景： 1） datasource->logstash->elasticsearch->kibana 2） datasource->filebeat->logstash-> elasticsearch->kibana...

2年前 (2020-12-29) 2℃

日志采集

日志实时收集之FileBeat+Kafka

flume,logstash 都是基于jvm的,都比较耗资源,而filebeat是基于go的,把logstash的核心拿出来了,但是没有执行格式化,只是在端上采集,,,, 之前，我们的某一个业务用于实时日志收集处理的架构大概是这样的： http://rk700...

2年前 (2020-12-29) 2℃

kafka

kafka系列：设置日志数据保存过期时间（含某个topic）、日志策略

目录全局设置（h）某个Topic设置（ms）立刻删除（now）日志策略分段策略属性日志刷新策略日志保存清理策略参考全局设置（h） server.properties log.retention.hours=72 log...

2年前 (2020-12-29) 2℃