点播
课程时长 42小时33分钟
学习期限 12 个月 退款期限 30 天
市场价格 ￥388.00 会员价格 ￥310.00
难度级别 中级 学习人次 953 综合评分 4.2
- 详情
- 目录
- 套餐3
- 评价13
第1章 课程介绍&学习指南
- 1-1 课程导学 试听23分钟35秒
- 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）19分钟28秒
第2章 为什么要学Spark
- 2-1 课程目录10分钟30秒
- 2-2 MapReduce的槽点27分钟23秒
- 2-3 Spark特性详解16分钟47秒
- 2-4 Spark Stack23分钟52秒
- 2-5 OOTB环境的使用19分钟23秒
- 2-6 JDK部署26分钟18秒
- 2-7 Maven部署13分钟44秒
- 2-8 IDEA部署28分钟14秒
- 2-9 HDFS部署18分钟58秒
- 2-10 YARN部署25分钟30秒
- 2-11 Hive部署19分钟22秒
- 2-12 Spark运行模式13分钟40秒
- 2-13 使用IDEA和Maven开发第一个Spark应用程序28分钟29秒
- 2-14 词频统计按照单词出现次数的降序排列22分钟29秒
- 2-15 local模式下spark-shell的使用22分钟04秒
- 2-16 local模式下使用spark-submit提交Spark应用程序14分钟23秒
- 2-17 YARN模式下提交Spark应用程序14分钟
- 2-18 Standalone模式下提交Spark应用程序15分钟06秒
- 2-19 Hadoop和Spark生态圈对比16分钟44秒
- 2-20 Hadoop与Spark对比12分钟23秒
- 2-21 Spark和Hadoop的相互协作13分钟54秒
第3章 Spark SQL快速入门
- 3-1 课程目录 试听26分钟34秒
- 3-2 为什么需要SQL12分钟19秒
- 3-3 SQL on Hadoop18分钟48秒
- 3-4 详解Spark SQL是什么以及常见误区解读20分钟57秒
- 3-5 Spark SQL概述16分钟05秒
- 3-6 为什么要学习Spark SQL10分钟27秒
- 3-7 Spark SQL架构20分钟37秒
- 3-8 spark-shell使用详解16分钟58秒
- 3-9 spark-sql使用详解并结合讲解Catalyst的执行过程14分钟25秒
- 3-10 spark-shell启动流程分析之uname以及case匹配的使用26分钟56秒
- 3-11 spark-shell启动流程分析之dirname和if的使用19分钟43秒
- 3-12 spark-shell启动流程分析之传递参数详解15分钟08秒
- 3-13 spark-shell启动流程分析之spark-submit10分钟15秒
- 3-14 spark-sql启动流程分析24分钟58秒
第4章 Spark SQL API编程
- 4-1 课程目录27分钟06秒
- 4-2 认知SparkSession16分钟11秒
- 4-3 了解SQLContext21分钟01秒
- 4-4 认识DataFrame20分钟51秒
- 4-5 DataFrame API基本使用20分钟53秒
- 4-6 DataFrame中前N条的取值方式23分钟08秒
- 4-7 通过实战案例学习DataFrame常用API25分钟37秒
- 4-8 Dataset概述及操作28分钟49秒
- 4-9 DataFrame vs Dataset18分钟49秒
- 4-10 Interoperating with RDD概述21分钟31秒
- 4-11 实现方式一26分钟18秒
- 4-12 实现方式二15分钟12秒
第5章 Data Source API
- 5-1 课程目录 试听27分钟31秒
- 5-2 Data Source概述21分钟42秒
- 5-3 text数据源读写案例12分钟29秒
- 5-4 SaveMode的使用详解22分钟33秒
- 5-5 json数据源案例12分钟46秒
- 5-6 Data Source API标准写法13分钟51秒
- 5-7 Parquet数据源案例14分钟54秒
- 5-8 Data Source格式转换21分钟19秒
- 5-9 jdbc数据源案例26分钟18秒
- 5-10 通过统一配置参数管理工程中使用到的参数29分钟38秒
第6章 整合Hive操作及函数
- 6-1 课程目录15分钟07秒
- 6-2 Spark对接Hive的原理及实操11分钟13秒
- 6-3 thriftserver&beeline的使用26分钟24秒
- 6-4 使用代码连接Server15分钟19秒
- 6-5 Server模式vs例行作业模式(思考题)13分钟43秒
- 6-6 hive数据源案例24分钟44秒
- 6-7 Spark SQL内置函数实战29分钟09秒
- 6-8 Spark SQL自定义UDF实战24分钟04秒
第7章 Kudu入门
- 7-1 课程目录26分钟13秒
- 7-2 kudu概述&核心概念&架构11分钟38秒
- 7-3 kudu部署17分钟26秒
- 7-4 API操作之创建表10分钟20秒
- 7-5 API操作之插入数据&删除表&数据查询14分钟11秒
- 7-6 API操作之修改表数据及表名14分钟32秒
- 7-7 Spark整合Kudu的读写操作20分钟19秒
第8章 基于Spark SQL和Kudu的广告业务项目实战（一）
- 8-1 课程目录22分钟15秒
- 8-2 广告业务背景28分钟11秒
- 8-3 项目需求10分钟52秒
- 8-4 项目架构及数据处理流程11分钟42秒
- 8-5 日志字段说明12分钟02秒
- 8-6 需求一之IP规则库解析10分钟37秒
- 8-7 需求一之使用API编程完成日志ip字段解析25分钟56秒
- 8-8 需求一之使用SQL方式完成日志ip字段解析11分钟
- 8-9 需求一之ODS数据落地到Kudu22分钟58秒
- 8-10 需求一之落地到Kudu表重构23分钟43秒
- 8-11 需求二功能实现22分钟13秒
- 8-12 需求一二代码结构大重构18分钟25秒
第9章 基于Spark SQL和Kudu的广告业务项目实战（二）
- 9-1 课程目录23分钟53秒
- 9-2 需求三之第一阶段统计功能实现14分钟36秒
- 9-3 需求三之第二阶段统计功能实现17分钟13秒
- 9-4 需求三之统计结果落地到Kudu11分钟11秒
- 9-5 需求四功能实现29分钟20秒
- 9-6 通过参数传递到Spark作业重构代码并打包21分钟05秒
- 9-7 将项目运行在服务器上12分钟40秒
- 9-8 定时调度提交Spark作业到服务器运行28分钟41秒
- 9-9 本章节小结12分钟40秒
第10章 Spark调优策略
- 10-1 课程目录22分钟39秒
- 10-2 调优之资源设置26分钟54秒
- 10-3 广播变量在Spark中的使用一17分钟05秒
- 10-4 广播变量在Spark中是使用二25分钟25秒
- 10-5 广播变量思考题(重要)29分钟36秒
- 10-6 Shuffle调优12分钟12秒
- 10-7 Spark与GC相关概念理解12分钟46秒
- 10-8 JVM GC引起的问题调优17分钟47秒
- 10-9 其他调优26分钟23秒
第11章 Presto初识
- 11-1 课程目录18分钟29秒
- 11-2 Presto是什么&能做什么&谁在使用它26分钟16秒
- 11-3 Presto架构22分钟18秒
- 11-4 Presto部署27分钟53秒
- 11-5 整合MySQL Connector23分钟06秒
- 11-6 整合Hive Connector16分钟09秒
- 11-7 Presto整合多个Connector操作27分钟49秒
- 11-8 Presto API操作27分钟39秒
第12章 云平台建设的思考
- 12-1 课程目录22分钟19秒
- 12-2 大数据项目和平台的差异性对比27分钟55秒
- 12-3 认知云平台能为我们提供的能力18分钟42秒
- 12-4 大数据云平台功能架构29分钟36秒
- 12-5 数据湖架构18分钟13秒
- 12-6 数据存储和计算角度剖析16分钟47秒
- 12-7 资源角度剖析21分钟21秒
- 12-8 兼容性角度剖析23分钟31秒
- 12-9 执行引擎和运行方式适配角度剖析29分钟15秒
- 12-10 Spark和Flink的选择25分钟35秒
第13章 （讨论群内直播内容分享）Spark3新特性
- 13-1 Spark概述29分钟36秒
- 13-2 Spark3.x新特性15分钟36秒
- 13-3 DataSource API V227分钟33秒
- 13-4 动态分区裁剪16分钟28秒
- 13-5 自适应查询执行16分钟31秒
授课教师
全栈工程师