微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

 分类:spark

最简单的spark实例

最简单的spark实例
hadoop-node web-ui: http://192.168.1.10:50070/ spark web-ui: http://192.168.1.10:8080/ spark的url: http://192.168.1.10:7077 1.创建一个scala项...

3年前 (2021-01-28) 14℃

20个spark实战项目列表,百度搜

这篇介绍是我看到过最详尽的,讲到很多Spark基本原理和对比Hadoop的优势,推荐必读。 1、【使用 SparkSQL 分析纽约市犯罪数据】 2、【Kmeans聚类算法评估足球比赛】 3、【使用决策树算法预测森林植被】 4、【Spark 机器学习之电影推荐系统...

3年前 (2020-12-29) 8℃

Spark项目实战

Spark项目之电商用户行为分析大数据平台之(十二)Spark上下文构建及模拟数据生成 摘要:一、模拟生成数据 1 package com.bw.test; 2 3 import java.util.ArrayList; 4 import java.util.Arrays; ...

3年前 (2020-10-26) 7℃

运行Spark官方提供的例子

运行Spark官方提供的例子
去spark官网把spark下载下来: https://spark.apache.org/downloads.html   解压,可以看下目录: 其中examples目录下提供了java,scala,python,R语言的各种例子。点进src目录可以看到源代码,如:...

3年前 (2020-10-12) 6℃

美团spark面试题

文章目录 1、Spark Application在没有获得足够的资源,job就开始执行了,可能会导致什么问题发生? 2、driver的功能是什么? 3、Spark中Work的主要工作是什么? 4、Spark为什么比mapreduce快? 5、Mapreduce和Spark的都是并...

3年前 (2020-06-10) 19℃

SparkSQL读取HBase数据

关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spark-sql cli(关于SparkSQL和Hive的整合,见文章后面的参考阅读). 本...

4年前 (2020-05-08) 16℃

SparkSQL读取HBase数据,通过自定义外部数据源

关键字:SparkSQL读取HBase、SparkSQL自定义外部数据源 前面文章介绍了SparSQL通过Hive操作HBase表。 SparkSQL从1.2开始支持自定义外部数据源(External DataSource),这样就可以通过API接口来实现自己的外部数据源。这里...

4年前 (2020-05-08) 11℃

基于Spark2.x新闻网大数据实时分析可视化系统项目

基于Spark2.x新闻网大数据实时分析可视化系统项目
基于Spark2.x新闻网大数据实时分析可视化系统项目 置顶 2018年05月03日 20:05:20 xl.zhang 阅读数:34016更多 所属专栏: 大数据的学路历程  版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog...

5年前 (2019-05-03) 27℃

使用Flume+Kafka+SparkStreaming进行实时日志分析

使用Flume+Kafka+SparkStreaming进行实时日志分析 置顶 2017年05月24日 15:33:29 Trigl 阅读数:41543更多 所属专栏: 从零学习数据挖掘  版权声明:本文为博主原创文章,未经博主允许不得转载。 https:...

5年前 (2019-04-26) 21℃