《Spark编程基础》 《 Spark编程基础》课程介绍 （PPT版本号：2018年2月）

Presentation on theme: "《Spark编程基础》 《 Spark编程基础》课程介绍 （PPT版本号：2018年2月）"— Presentation transcript:

1 《Spark编程基础》 《 Spark编程基础》课程介绍 （PPT版本号：2018年2月）
教材官网： 《 Spark编程基础》课程介绍 （PPT版本号：2018年2月） 温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字 林子雨 厦门大学计算机科学系 主页： 扫一扫访问教材官网 厦门大学计算机科学系 版

2 提纲 1.学习路线 2.先修课程 3.课程特色 4.教材介绍 5.内容提要 6.教学大纲 7.配套资源
百度搜索厦门大学数据库实验室网站访问平台

3 累计免费网络发布超过500万字高价值教学和科研资料
主讲教师 主讲教师：林子雨 中国高校首个“数字教师”提出者和建设者 2009年7月从事教师职业以来 累计免费网络发布超过500万字高价值教学和科研资料 网络浏览量超过500万次 数字教师LOGO

4 大数据学习路线图 大数据学习路线图访问地址：

5 大数据学习路线图

6 先修课程 在学习本课程之前，需要学生已经学习过如下课程 大数据技术导论 数据库系统原理 编程 比如林子雨编著《大数据技术原理与应用》
在线视频： 数据库系统原理 了解关系数据库与SQL语句 编程 比如，C++或者Java，了解面向对象编程基础知识

7 先修课程 建议在学习本课程之前，先学习大数据导论课程《大数据技术原理与应用》

8 先修课程 建议在学习本课程之前，先学习大数据导论课程《大数据技术原理与应用》 厦门大学林子雨老师主讲《大数据技术原理与应用》课程视频
在线课程地址：

9 课程特色 开启Spark学习大门 扫除学习障碍，铺平学习道路

10 教材介绍 《Spark编程基础》 厦门大学 林子雨，赖永炫，陶继平 编著 披荆斩棘，在大数据丛林中开辟学习捷径
厦门大学 林子雨，赖永炫，陶继平  编著 披荆斩棘，在大数据丛林中开辟学习捷径 填沟削坎，为快速学习Spark技术铺平道路 深入浅出，有效降低Spark技术学习门槛 资源全面，构建全方位一站式在线服务体系 人民邮电出版社出版发行，ISBN: 教材官网：

11 教材介绍 《Spark编程基础》 教材官网：http://dblab.xmu.edu.cn/post/spark/
本书以Scala作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。

12 教材介绍 Spark在线教程地址： http://dblab.xmu.edu.cn/blog/spark/
如果没有购买《Spark编程基础》纸质教材，也可以使用Spark在线教程开展学习。Spark在线教程，比《Spark编程基础》纸质教材包含了更多的内容，并且同时提供了Scala版本和Python版本的两种Spark编程教程。在具体知识点方面，《Spark编程基础》纸质教材，要比Spark在线教程写得更加规范、详细和深入。二者各有千秋，可以结合使用。

13 内容提要 Spark是当前热门的大数据处理技术 本课程重点介绍Spark的技术原理与编程方法
Spark支持采用Scala、Java、Python和R语言进行编程，本课程采用Scala语言编写Spark应用程序 课程内容包括Scala语言、Spark简介、安装、运行架构、RDD的设计与运行原理、部署模式、RDD编程、键值对RDD、数据读写、Spark SQL、Spark Streaming等 通过本课程的学习，将帮助学生形成基础的Spark应用程序编程能力，为学生使用Spark技术解决实际科研问题和未来从事大数据相关工作奠定基础

14 教学大纲 章（或节） 主要内容 学时安排 第1章 大数据技术概述 大数据的基本概念、关键技术和代表性软件 2 第2章 Scala语言基础
6 第3章 Spark的设计与运行原理 Spark简介、运行架构、RDD的设计与运行原理、部署模式 3 第4章Spark环境搭建和使用方法 Spark的基本安装方法，如何在spark-shell中运行代码以及如何开发Spark独立应用程序 第5章 RDD编程 RDD编程、键值对RDD、数据读写 4 第6章 Spark SQL Spark SQL简介、DataFrame、读写Parquet、通过JDBC连接数据库、连接Hive读写数据 第7章 Spark Streaming 流计算简介、Spark Streaming简介、DStream操作 第8章 Spark MLlib Spark MLlib简介、spark.mllib库、spark.ml库 综合案例 Spark应用程序案例 合计 32

15 课程配套教学资源 所有资料全部免费共享 支持电脑和手机浏览
高校大数据课程公共服务平台精华资源 扫一扫访问平台主页 扫一扫观看3分钟FLASH动画宣传片

16 课程配套教学资源 课程视频 课程在线视频地址：

17 课程配套教学资源 课程实验 实验1-Linux系统的安装和常用命令 实验2-Scala编程初级实践 实验3-Spark和Hadoop的安装
实验4-RDD编程初级实践 实验5-Spark SQL编程初级实践 实验6-Spark Streaming编程初级实践 实验7-Spark机器学习库MLlib编程实践 可以访问教材官网获取以上课程实验

18 课程配套教学资源 Spark课程综合实验案例1：淘宝双11数据分析与预测
本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法 案例访问地址：

19 课程配套教学资源 课程实验案例2：Spark+Kafka构建实时分析Dashboard案例
由厦门大学数据库实验室团队开发，旨在满足全国高校大数据教学对实验案例的迫切需求。本案例涉及数据预处理、消息队列发送和接收消息、数据实时处理、数据实时推送和实时展示等数据处理全流程所涉及的各种典型操作，涵盖Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、sockert.io.js、PyCharm等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例。 免费在线实验案例主页：

20 附录A：主讲教师林子雨简介 主讲教师：林子雨 单位：厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn
个人网页： 数据库实验室网站： 扫一扫访问个人主页 林子雨，男，1978年出生，博士（毕业于北京大学），现为厦门大学计算机科学系助理教授（讲师），曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长。中国计算机学会数据库专业委员会委员，中国计算机学会信息系统专业委员会委员。国内高校首个“数字教师”提出者和建设者，厦门大学数据库实验室负责人，厦门大学云计算与大数据研究中心主要建设者和骨干成员，2013年度和2017年度厦门大学教学类奖教金获得者，荣获2017年福建省精品在线开放课程、2017年福建省本科优秀特色教材和2017年厦门大学高等教育成果二等奖。主要研究方向为数据库、数据仓库、数据挖掘、大数据、云计算和物联网，并以第一作者身份在《软件学报》《计算机学报》和《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文。作为项目负责人主持的科研项目包括1项国家自然科学青年基金项目(No )、1项福建省自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研业务费项目(No )，主持的教改课题包括1项2016年福建省教改课题和1项2016年教育部产学协作育人项目，同时，作为课题负责人完成了国家发改委城市信息化重大课题、国家物联网重大应用示范工程区域试点泉州市工作方案、2015泉州市互联网经济调研等课题。中国高校首个“数字教师”提出者和建设者，2009年至今，“数字教师”大平台累计向网络免费发布超过500万字高价值的研究和教学资料，累计网络访问量超过500万次。打造了中国高校大数据教学知名品牌，编著出版了中国高校第一本系统介绍大数据知识的专业教材《大数据技术原理与应用》，并成为京东、当当网等网店畅销书籍；建设了国内高校首个大数据课程公共服务平台，为教师教学和学生学习大数据课程提供全方位、一站式服务，年访问量超过100万次。

21 附录B：大数据学习路线图 大数据学习路线图访问地址：

22 附录C：《大数据技术原理与应用》教材 扫一扫访问教材官网
《大数据技术原理与应用——概念、存储、处理、分析与应用（第2版）》，由厦门大学计算机科学系林子雨博士编著，是国内高校第一本系统介绍大数据知识的专业教材。人民邮电出版社 ISBN: 定价：49.80元 全书共有15章，系统地论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据 库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、Spark、流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase和MapReduce等重要章节，安排了入门级的实践操作，让读者更好地学习和掌握大数据关键技术。 本书可以作为高等院校计算机专业、信息管理等相关专业的大数据课程教材，也可供相关技术人员参考、学习、培训之用。 扫一扫访问教材官网 欢迎访问《大数据技术原理与应用——概念、存储、处理、分析与应用》教材官方网站：

23 附录D：《大数据基础编程、实验和案例教程》
本书是与《大数据技术原理与应用（第2版）》教材配套的唯一指定实验指导书 步步引导，循序渐进，详尽的安装指南为顺利搭建大数据实验环境铺平道路 深入浅出，去粗取精，丰富的代码实例帮助快速掌握大数据基础编程方法 精心设计，巧妙融合，五套大数据实验题目促进理论与编程知识的消化和吸收 结合理论，联系实际，大数据课程综合实验案例精彩呈现大数据分析全流程 清华大学出版社  ISBN: 定价：59元

24 附录E：《Spark编程基础》 《Spark编程基础》 厦门大学 林子雨，赖永炫，陶继平 编著 披荆斩棘，在大数据丛林中开辟学习捷径
厦门大学 林子雨，赖永炫，陶继平  编著 披荆斩棘，在大数据丛林中开辟学习捷径 填沟削坎，为快速学习Spark技术铺平道路 深入浅出，有效降低Spark技术学习门槛 资源全面，构建全方位一站式在线服务体系 人民邮电出版社出版发行，ISBN: 教材官网： 本书以Scala作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。

25 附录F：高校大数据课程公共服务平台 扫一扫访问平台主页 扫一扫观看3分钟FLASH动画宣传片

26 Department of Computer Science, Xiamen University, 2018