微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

 分类:spark

美团spark面试题

文章目录 1、Spark Application在没有获得足够的资源,job就开始执行了,可能会导致什么问题发生? 2、driver的功能是什么? 3、Spark中Work的主要工作是什么? 4、Spark为什么比mapreduce快? 5、Mapreduce和Spark的都是并...

3个月前 (06-10) 10℃

SparkSQL读取HBase数据

关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spark-sql cli(关于SparkSQL和Hive的整合,见文章后面的参考阅读). 本...

4个月前 (05-08) 5℃

SparkSQL读取HBase数据,通过自定义外部数据源

关键字:SparkSQL读取HBase、SparkSQL自定义外部数据源 前面文章介绍了SparSQL通过Hive操作HBase表。 SparkSQL从1.2开始支持自定义外部数据源(External DataSource),这样就可以通过API接口来实现自己的外部数据源。这里...

4个月前 (05-08) 4℃

基于Spark2.x新闻网大数据实时分析可视化系统项目

基于Spark2.x新闻网大数据实时分析可视化系统项目
基于Spark2.x新闻网大数据实时分析可视化系统项目 置顶 2018年05月03日 20:05:20 xl.zhang 阅读数:34016更多 所属专栏: 大数据的学路历程  版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog...

1年前 (2019-05-03) 24℃

使用Flume+Kafka+SparkStreaming进行实时日志分析

使用Flume+Kafka+SparkStreaming进行实时日志分析 置顶 2017年05月24日 15:33:29 Trigl 阅读数:41543更多 所属专栏: 从零学习数据挖掘  版权声明:本文为博主原创文章,未经博主允许不得转载。 https:...

1年前 (2019-04-26) 19℃