微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

kafka单条日志超过1M解决方案

kafka aide_941 1℃ 0评论

一、说明

kafka默认会丢弃超过单调日志超过1M的记录。如果单条日志超出1M(压缩后),客户端会报出如下错误。

错误日志

Icon

java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.

at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.valueOrError(FutureRecordMetadata.java:70)

at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.get(FutureRecordMetadata.java:57)

at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.get(FutureRecordMetadata.java:25)

at sina.kafka.group.kafka102ProducerTestForMaxMessage.main(kafka102ProducerTestForMaxMessage.java:63)

Caused by: org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.

二、解决方法

如果日志大小实在无法调整,需要进行如下处理。

1、发送邮件给kafka 管理员(haiping1、fengchao1)告知。由管理员对服务端进行配置。

需要提供的信息如下:Topic名称、单条日志最大大小、kafka集群(如不知道哪个集群,请提供 Broker)。

2、调整生产客户端参数 max.request.size 为较大值。默认为1M,调整其至少大于 单条记录最大大小。

转载请注明:SuperIT » kafka单条日志超过1M解决方案

喜欢 (0)or分享 (0)

您必须 登录 才能发表评论!