2023-2024年最新大数据学习路线

type

status

date

slug

summary

文章目录

* 2023-2024年最新大数据学习路线

* 大数据开发入门*01*

* 阶段案例实战

大数据核心基础*02*

* 阶段案例实战

千亿级数仓技术*03*

* 阶段项目实战

PB级内存计算04

* 阶段项目实战

亚秒级实时计算*05*

* 阶段项目实战

大厂面试*06*

2023-2024年最新大数据学习路线

新路线图在Spark一章不再以Java，而把Python语言作为第一语言，更适应未来的发展趋势，路线图主要分为六大模块，根据以下内容对照自己掌握了多少大数据的知识，`查缺补漏！`文末送全套视频+源码资料。

#### 大数据开发入门 _01_

_基本命令_

_用户管理_

_权限管理_

_网络管理_

_SSH_

_VI_

_DDL_

_DML_

_DQL_

_多表查询_

_分组查询_

_约束_

_数据转换脚本组件Job开发_

_基本操作常用图表仪表板_

传统数据仓库实战

课程视频

[1、Linux零基础入门到进阶](https://blog.csdn.net/xianyu120/category_10695631.html)

[2、数据开发基础课程](https://blog.csdn.net/xianyu120/category_10969663.html)

#### 大数据核心基础 _02_

_架构原理_

_存储模型_

_ZK集群搭建_

_选举机制_

_HDFS架构_

_Block块存储_

_读写流程_

_NameNode_

_DataNode_

_高可用集群_

_核心原理_

_执行流程_

_Shuffle机制_

_YARN组件架构原理执行流程调度器_

_HQL_

_数据类型_

_分区分桶_

_拉链表_

_元数据_

_数据压缩_

_存储格式_

_原理架构_

_性能优化_

社交APP案例实战

课程视频[1、零基础快速入门大数据](https://blog.csdn.net/xianyu120/category_10757079.html)

#### 千亿级数仓技术 _03_

_CM架构_

_组件构建_

_CM实操_

_ODS DIM DWS DWD DM ADS_

_架构原理 SQL调优集群构建_

_数据倾斜 JOIN调优 HIVE索引_

_DS Azkaban Oozie_

在线教育大数据数仓*

课程视频[1、在线教育数仓实战](https://blog.csdn.net/xianyu120/category_10690482.html)

PB级内存计算04

_基本语法数据结构函数面向对象异常处理模块与包网络编程多进程多线程闭包装饰器迭代器_

_架构原理 Spark RDD Spark DF Spark DAG Spark SQL内存迭代性能调优_

_任务调度 Pandas on Spark Spark on Hive Spark Shuffle_

_Spark 3.x 新特性_

工业项目实战保险大数据实战

课程视频

[1、零基础快速入门Python编程](https://blog.csdn.net/xianyu120/category_11947788.html)

[2、Python编程进阶](https://blog.csdn.net/xianyu120/category_12455921.html)

[3、PySpark基础到精通](https://blog.csdn.net/xianyu120/category_12453356.html)

[4、工业项目实战](https://blog.csdn.net/xianyu120/category_12122606.html)

#### 亚秒级实时计算 _05_

_架构原理_

_批流一体_

_Window操作_

_State操作_

_DataStream_

_Checkpoint_

_Flink SQL_

_任务调度_

_负载均衡_

_状态管理_

_Runtime_

_执行计划_

_Flink性能监控与调优_

_Flink + Elasticsearch_

_Flink + KafkaFlink + Pulsar_

_Flink + ClickHouseFlink + Doris_

文章目录

2023-2024年最新大数据学习路线

PB级内存计算04

Maynor

AI 工具平台

体验全球顶级 AI 模型聚合服务