微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

kafka单独设置数据过期时间

kafka aide_941 2℃ 0评论

kafka 单独设置某个topic的数据过期时间

kafka 默认存放7天的临时数据,如果遇到磁盘空间小,存放数据量大,可以设置缩短这个时间。

全局设置

修改 server.properties

log.retention.hours=72
log.cleanup.policy=delete
  • 1
  • 2

单独对某一个topic设置过期时间

但如果只有某一个topic数据量过大。
想单独对这个topic的过期时间设置短点:

./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity-type topics --add-config retention.ms=86400000
  • 1

retention.ms=86400000 为一天,单位是毫秒。

查看设置:

$ ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name mytopic --entity-type topics
Configs for topics:wordcounttopic are retention.ms=86400000
  • 1
  • 2

立即删除某个topic下的数据

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic mytopic --config cleanup.policy=delete

转载请注明:SuperIT » kafka单独设置数据过期时间

喜欢 (0)or分享 (0)

您必须 登录 才能发表评论!