微信搜索superit|邀请体验：大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

分类：spark

最简单的spark实例

hadoop-node web-ui: http://192.168.1.10:50070/ spark web-ui: http://192.168.1.10:8080/ spark的url: http://192.168.1.10:7077 1.创建一个scala项...

1年前 (2021-01-28) 6℃

这篇介绍是我看到过最详尽的，讲到很多Spark基本原理和对比Hadoop的优势，推荐必读。 1、【使用 SparkSQL 分析纽约市犯罪数据】 2、【Kmeans聚类算法评估足球比赛】 3、【使用决策树算法预测森林植被】 4、【Spark 机器学习之电影推荐系统...

1年前 (2020-12-29) 2℃

Spark项目之电商用户行为分析大数据平台之（十二）Spark上下文构建及模拟数据生成摘要：一、模拟生成数据 1 package com.bw.test; 2 3 import java.util.ArrayList; 4 import java.util.Arrays; ...

1年前 (2020-10-26) 3℃

去spark官网把spark下载下来： https://spark.apache.org/downloads.html 解压，可以看下目录：其中examples目录下提供了java,scala,python,R语言的各种例子。点进src目录可以看到源代码，如：...

1年前 (2020-10-12) 2℃

文章目录 1、Spark Application在没有获得足够的资源，job就开始执行了，可能会导致什么问题发生? 2、driver的功能是什么？ 3、Spark中Work的主要工作是什么？ 4、Spark为什么比mapreduce快？ 5、Mapreduce和Spark的都是并...

2年前 (2020-06-10) 14℃

关键字： Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制这里的SparkSQL是指整合了Hive的spark-sql cli（关于SparkSQL和Hive的整合，见文章后面的参考阅读）. 本...

2年前 (2020-05-08) 5℃

关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源前面文章介绍了SparSQL通过Hive操作HBase表。 SparkSQL从1.2开始支持自定义外部数据源(External DataSource)，这样就可以通过API接口来实现自己的外部数据源。这里...

2年前 (2020-05-08) 4℃

3年前 (2019-05-03) 24℃

大数据架构入门总结（Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK） 2017年04月25日 19:05:34 神经质的盛宴阅读数：1608 这两天学习了Flume + Kafka +...

3年前 (2019-05-03) 26℃

基于Spark的电影推荐系统（包含爬虫项目、web网站、后台管理系统以及spark推荐系统）置顶 2018年04月19日 16:06:31 xl.zhang 阅读数：39786 标签：sparkssm项目爬虫python更多个人分类：【项目开发】所属专栏：大...

3年前 (2019-05-03) 19℃

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统 https://blog.csdn.net/linge1995/article/details/81326146 2018年08月01日 13:39:10 linge1995...

3年前 (2019-05-03) 30℃

3年前 (2019-04-26) 19℃