微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

标签:数据

架构

二进制在数据磁盘的真实的存储!

二进制在数据磁盘的真实的存储!
2.4 真实的存储, 另外, 我们的数据是以磁性材料对应的0和1的方式,读取数据时,磁头将会用旁边的读取器读取磁性材料的极性,再还原成0或1。 很久以前, 硬盘的容量还非常小的时候,人们采用与软盘类似的结构生产硬盘。 也就是硬盘盘片的每一条磁道都具有相同的扇区数。 由此产生...

2年前 (2023-01-30) 12℃

kafka

kafka单独设置数据过期时间

kafka 单独设置某个topic的数据过期时间 kafka 默认存放7天的临时数据,如果遇到磁盘空间小,存放数据量大,可以设置缩短这个时间。 全局设置 修改 server.properties log.retention.hours=72 log.cleanup...

4年前 (2020-12-29) 7℃

spark

SparkSQL读取HBase数据

关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spark-sql cli(关于SparkSQL和Hive的整合,见文章后面的参考阅读). 本...

5年前 (2020-05-08) 16℃

storm

Storm大数据实时计算

大数据也是构建各类系统的时候一种全新的思维,以及架构理念,比如Storm,Hive,Spark,ZooKeeper,HBase,Elasticsearch,等等 storm,在做热数据这块,如果要做复杂的热数据的统计和分析,亿流量,高并发的场景下,最合适的技术就是storm,没有...

5年前 (2020-05-07) 12℃