SuperIT 技术开发社区之后端大数据与Devops

Golang精编100题

能力模型级别模型初级 primary 熟悉基本语法，能够看懂代码的意图；在他人指导下能够完成用户故事的开发，编写的代码符合CleanCode规范；中级 intermediate 能够独立完成用户故事的开发和测试；能够嗅...

2周前 (11-21) 2℃ 0评论

Golang开发新手常犯的50个错误

《50 Shades of Go: Traps, Gotchas, and Common Mistakes for New Golang Devs》原文地址：http://devs.cloudimmunity.com/gotchas-and-common-mistakes-in...

3周前 (11-14) 3℃

java

docker制作镜像文件问题standard_init_linux.go:211: exec user process caused “no such file or direct

启动容器：docker run -p 9080:9080 -v /root/app:/home/java app:v1.1 报错：standard_init_linux.go:211: exec user process caused "no such file or...

3周前 (11-14) 2℃

Golang build 填坑笔记

从一个bug说起 bug描述在尝试用docker的alpine镜像运行从golang镜像中编译出来的可执行文件时出现如下的错误 standard_init_linux.go:211: exec user process caused "no such file or dire...

3周前 (11-14) 1℃

python守护进程+JoinableQueue队列实现生产者消费者模型

from multiprocessing import Process,JoinableQueue import time,random,os ''' !!!JoinableQueue队列实现生产者消费者模型!!! #JoinableQueue([maxsize])：这就像...

3周前 (11-13) 2℃

Python 多进程、多线程效率比较

Python 多进程、多线程效率比较 Python 界有条不成文的准则：计算密集型任务适合多进程，IO 密集型任务适合多线程。本篇来作个比较。通常来说多线程相对于多进程有优势，因为创建一个进程开销比较大，然而因为在 python 中有 GIL 这把大锁的存在，导致执行计...

3周前 (11-13) 3℃

Django 数据库建表的时候 No migrations to apply原因出现和解决

1.python3 manage.py makemigrations –empty 你的应用名 2.python3 manage.py makemigrations 3.python3 manage.py migrate 1、首先，这种原因...

3周前 (11-12) 2℃

Python Django mysqlclient安装和使用

一、安装mysqlclient 网上看到很过通过命令：pip install mysqlclient 进行安装的教程，但是我却始终安装失败，遇到的错误千奇百怪，后来通过自己下载mysqlclient客户端终于安装成功；首先打开网址：https://www.lfd.uci.ed...

3周前 (11-12) 2℃

python笔记(Django定时任务)

链接：https://www.jianshu.com/p/e4a8f173b4b0 实现Django定时任务的方法（插件）很多，复杂却功能完备的有： Django-celery。但今天我们使用Django-crontab，选择它的原因在于配置简单，使用方便。废话不...

3周前 (11-12) 2℃

django admin后台提示没有static样式相关的文件,nginx-uwsgi 配置

问题现象：将 DEBUG = TEMPLATE_DEBUG = False 设置为False后，访问admin的管理后台，没有样式了。解决办法： vim settings.py 确保有下面的这两行 STATIC_URL = '/static/' STATIC_...

3周前 (11-12) 2℃

Django+Django-Celery+Celery的整合实战

Django+Django-Celery+Celery的整合实战本篇文章主要是由于计划使用django写一个计划任务出来，可以定时的轮换值班人员名称或者定时执行脚本等功能，百度无数坑之后，终于可以凑合把这套东西部署上。本人英文不好，英文好或者希...

3周前 (11-12) 2℃

Python—在Django中使用Celery

Python—在Django中使用Celery 一.Django中的请求　　Django Web中从一个http请求发起，到获得响应返回html页面的流程大致如下：　　　　http请求发起　　　　经过中间件　　　http handling（reque...

3周前 (11-12) 3℃

kafka 设置消费group为最新offset

下载依赖jar 包 kafka-tools-0.0.3.jar kafka-tools-0.0.3-sources.jar （源码文件）也可以通过maven下载 pom 文件配置 Expand source 使用example ...

3周前 (11-11) 3℃

rsyslog 接入权限认证的Kafka集群

说明： kafka权限接入包含两种方式，了解具体接入可参考本案例使用kafka的第二种使用方式，案例如下： Icon SparkConf sparkConf = new SparkConf() .setAppName("JavaSparkStreamingSQLKa...

3周前 (11-11) 2℃

kafka单条日志超过1M解决方案

一、说明 kafka默认会丢弃超过单调日志超过1M的记录。如果单条日志超出1M（压缩后），客户端会报出如下错误。错误日志 Icon java.util.concurrent.ExecutionException: org.apache.kafka.common.errors...

3周前 (11-11) 1℃

(强烈推荐)log+filebeat+kafka+logstash+es配置, filebeat连不上kafka原因解析!!!

# 通常架构 # filebeat=>kafka=>logstash=>elasticsearch=>kibana 1.filebeat的配置: # filebeat/config/filebeat.yml: #=======...

3周前 (11-10) 3℃

logstash的各个场景应用（配置文件均已实践过）

logstash的各个场景应用（配置文件均已实践过）场景： 1） datasource->logstash->elasticsearch->kibana 2） datasource->filebeat->logstash-> elastic...

4周前 (11-10) 2℃

日志实时收集之FileBeat+Kafka

flume,logstash 都是基于jvm的,都比较耗资源,而filebeat是基于go的,把logstash的核心拿出来了,但是没有执行格式化,只是在端上采集,,,, 之前，我们的某一个业务用于实时日志收集处理的架构大概是这样的： http://rk700.github....

4周前 (11-10) 3℃

kafka系列：设置日志数据保存过期时间（含某个topic）、日志策略

目录全局设置（h）某个Topic设置（ms）立刻删除（now）日志策略分段策略属性日志刷新策略日志保存清理策略参考全局设置（h） server.properties log.retention.hours=72 log.cleanup...

4周前 (11-09) 2℃