点播 Spark进阶 大数据离线与实时项目实战

课程时长 36小时35分钟

学习期限 12 个月 退款期限 30 天

市场价格 ¥399.00 会员价格 ¥319.00

难度级别 中级 学习人次 486 综合评分 4.2

内容实用 4.1 分

简洁易懂 4.2 分

逻辑清晰 4.2 分

  • 详情
  • 目录
  • 套餐2
  • 评价20

第1章 课程介绍&学习指南

  • 1-1 课程介绍 试听
    13分钟51秒
  • 1-2 ***学前必读***(助你平稳踩坑,畅学无忧,课程学习与解决问题指南)
    27分钟22秒

第2章 Redis入门

  • 2-1 课程目录 试听
    30分钟
  • 2-2 Redis概述
    10分钟52秒
  • 2-3 Redis特性
    27分钟10秒
  • 2-4 Redis应用场景
    20分钟03秒
  • 2-5 Redis部署&服务启停&客户端连接
    27分钟14秒
  • 2-6 Redis多数据库特性
    15分钟36秒
  • 2-7 Redis基础命令的使用
    28分钟09秒
  • 2-8 Redis数据类型之string
    10分钟26秒
  • 2-9 Redis数据类型之list
    13分钟11秒
  • 2-10 Redis基本数据类型之set
    14分钟41秒
  • 2-11 使用Jedis对Redis进行操作
    15分钟38秒
  • 2-12 Redis工具类开发
    16分钟09秒

第3章 HBase入门

  • 3-1 数据存储现状
    19分钟20秒
  • 3-2 HBase是什么
    27分钟53秒
  • 3-3 HBase在生态圈中的位置以及列式存储带来的好处
    12分钟18秒
  • 3-4 HBase的特点.mp4
    13分钟31秒
  • 3-5 HBase vs RDBMS vs HDFS.mp4
    15分钟34秒
  • 3-6 HBase的优势
    22分钟41秒
  • 3-7 HBase数据模型
    21分钟07秒
  • 3-8 JDK环境搭建
    26分钟13秒
  • 3-9 Hadoop环境部署(详解一个常见的错误解决方案)
    17分钟50秒
  • 3-10 ZooKeeper环境部署
    11分钟58秒
  • 3-11 HBase环境部署
    28分钟34秒
  • 3-12 HBase shell DDL操作
    25分钟10秒
  • 3-13 HBase shell DML操作
    14分钟32秒
  • 3-14 HBase API编程之开发前置准备工作
    19分钟26秒
  • 3-15 HBase API编程之创建表以及查询表和所有列族
    24分钟17秒
  • 3-16 HBase API编程之添加和修改记录
    16分钟06秒
  • 3-17 HBase API编程之通过RowKey获取值
    18分钟56秒
  • 3-18 HBase API编程之Scan
    15分钟34秒
  • 3-19 HBase API编程之Filter
    23分钟58秒
  • 3-20 HBase API编程之总结
    17分钟56秒

第4章 离线项目实战V1

  • 4-1 课程目录 试听
    22分钟
  • 4-2 项目背景
    22分钟16秒
  • 4-3 项目处理流程.mp4
    29分钟51秒
  • 4-4 项目离线和实时架构图
    28分钟59秒
  • 4-5 明确架构图中每个步骤使用的技术以及职责所在
    20分钟06秒
  • 4-6 项目指标需求
    17分钟56秒
  • 4-7 功能开发之UserAgent解析(掌握如何获取技能)
    17分钟38秒
  • 4-8 功能开发之IP解析思路
    27分钟38秒
  • 4-9 功能开发之Spark和HBase依赖整合
    18分钟59秒
  • 4-10 开发环境依赖使用说明
    14分钟45秒
  • 4-11 功能开发之解析日志成DataFrame并为DataFrame添加字段信息
    10分钟08秒
  • 4-12 功能开发之将DF内容转成HBase要存储的列
    15分钟47秒
  • 4-13 功能开发之整体ETL流程详解及如何传参设计
    22分钟30秒
  • 4-14 功能开发之创建HBase表
    12分钟29秒
  • 4-15 功能开发之HBase Rowkey设计_1
    22分钟33秒
  • 4-16 功能开发之完成ETL数据到HBase落地的全过程
    11分钟30秒
  • 4-17 功能开发之完成第一个指标的统计分析
    14分钟39秒
  • 4-18 功能开发之完成第二个指标的统计分析
    10分钟07秒
  • 4-19 性能优化之缓存的使用
    12分钟54秒
  • 4-20 功能开发之统计功能使用DataFrame API以及SQL API来完成
    22分钟54秒
  • 4-21 本章小结
    22分钟58秒

第5章 离线项目实战优化

  • 5-1 课程目录
    13分钟58秒
  • 5-2 Spark on YARN
    20分钟55秒
  • 5-3 Linux时间获取
    11分钟24秒
  • 5-4 shell封装Spark作业提交脚本
    14分钟36秒
  • 5-5 将统计结果写入到MySQL中
    25分钟21秒
  • 5-6 统计结果写入到MySQL调优
    28分钟28秒
  • 5-7 Spark ETL到HBase优化之禁用WAL
    20分钟28秒
  • 5-8 Spark ETL到HBase的HFile思路
    14分钟02秒
  • 5-9 Spark产生HFile文件格式准备工作
    29分钟13秒
  • 5-10 Spark产生HFile整个流程实现并总结
    29分钟21秒

第6章 实时项目实战

  • 6-1 课程目录
    10分钟48秒
  • 6-2 项目背景
    19分钟25秒
  • 6-3 项目架构及处理流程
    18分钟51秒
  • 6-4 项目需求
    29分钟51秒
  • 6-5 开发环境准备及参数配置统一管理
    15分钟38秒
  • 6-6 Kafka部署及测试
    29分钟38秒
  • 6-7 Mock数据
    14分钟40秒
  • 6-8 发送数据到Kafka
    20分钟33秒
  • 6-9 SparkStreaming对接Kafka数据
    14分钟13秒
  • 6-10 功能实现之每天的粒度统计..1
    25分钟34秒
  • 6-11 功能开发之调优
    27分钟53秒
  • 6-12 功能实现小结
    14分钟36秒
  • 6-13 功能实现之每小时统计及代码重构
    20分钟57秒
  • 6-14 SparkStreaming对接Kafka offset管理
    16分钟50秒

第7章 初识Alluxio

  • 7-1 课程目录
    26分钟27秒
  • 7-2 概述
    12分钟34秒
  • 7-3 Spark应用存在的问题分析
    18分钟37秒
  • 7-4 Alluxio能为我们带来什么
    17分钟10秒
  • 7-5 Alluxio特点
    27分钟53秒
  • 7-6 在Spark实战项目中引入Alluxio
    16分钟52秒
  • 7-7 Alluxio部署
    15分钟12秒
  • 7-8 Alluxio文件系统命令行操作
    28分钟23秒
  • 7-9 Alluxio整合HDFS使用
    29分钟16秒
  • 7-10 Alluxio整合MapReduce使用
    28分钟25秒
  • 7-11 Alluxio整合Spark使用
    20分钟48秒
  • 7-12 Alluxio案例分享之在百度的使用
    13分钟37秒
  • 7-13 Alluxio案例分享之在去哪儿的应用
    10分钟47秒

第8章 Spark优化

  • 8-1 课程目录
    13分钟14秒
  • 8-2 调优之资源设置
    16分钟55秒
  • 8-3 调优之算子的合理选择
    10分钟25秒
  • 8-4 扩展之自定义排序一
    11分钟38秒
  • 8-5 扩展之自定义排序二(附带经典面试题)
    16分钟04秒
  • 8-6 扩展之自定义排序(隐式转换)
    13分钟49秒
  • 8-7 Spark Streaming调优之Kafka限速
    27分钟10秒
  • 8-8 Spark Streaming对接Kafka能真正做到仅消费一次吗
    24分钟44秒
  • 8-9 调优之序列化
    11分钟44秒
  • 8-10 调优之广播变量
    19分钟25秒

第9章 (讨论群内直播内容分享)基于Spark定制ETL框架

  • 9-1 Data Pipeline_x264
    12分钟30秒
  • 9-2 ETL中可能会遇到的问题_x264
    19分钟27秒
  • 9-3 (打标记处,3处听不清楚) Spark SQL DataSource API_x264
    27分钟56秒
  • 9-4 使用Spark SQL处理json数据_x264
    10分钟36秒
  • 9-5 基于Spark ETL框架的设计
    25分钟27秒
  • 9-6 基于Spark ETL框架的使用_x264
    23分钟15秒

第10章 (讨论群内直播内容分享)Spark3新特性

  • 10-1 Spark概述
    16分钟46秒
  • 10-2 Spark3.x新特性
    26分钟57秒
  • 10-3 DataSource API V2
    12分钟26秒
  • 10-4 动态分区裁剪
    17分钟43秒
  • 10-5 自适应查询执行
    22分钟28秒
486
20
0
0