架构二进制在数据磁盘的真实的存储! 2.4 真实的存储, 另外, 我们的数据是以磁性材料对应的0和1的方式,读取数据时,磁头将会用旁边的读取器读取磁性材料的极性,再还原成0或1。 很久以前, 硬盘的容量还非常小的时候,人们采用与软盘类似的结构生产硬盘。 也就是硬盘盘片的每一条磁道都具有相同的扇区数。 由此产生... 2年前 (2023-01-30) 12℃
kafkakafka单独设置数据过期时间 kafka 单独设置某个topic的数据过期时间 kafka 默认存放7天的临时数据,如果遇到磁盘空间小,存放数据量大,可以设置缩短这个时间。 全局设置 修改 server.properties log.retention.hours=72 log.cleanup... 4年前 (2020-12-29) 7℃
sparkSparkSQL读取HBase数据 关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spark-sql cli(关于SparkSQL和Hive的整合,见文章后面的参考阅读). 本... 5年前 (2020-05-08) 16℃
stormStorm大数据实时计算 大数据也是构建各类系统的时候一种全新的思维,以及架构理念,比如Storm,Hive,Spark,ZooKeeper,HBase,Elasticsearch,等等 storm,在做热数据这块,如果要做复杂的热数据的统计和分析,亿流量,高并发的场景下,最合适的技术就是storm,没有... 5年前 (2020-05-07) 12℃