大数据项目 | 分类 | MaynorAI’s Blog

前言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。第一款

linux

目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！

hadoop

big data

前段时间更新完了大数据体系的相关博文，一直没时间梳理，又转战Vue、Java、Mysql了，这次便整理一下博客，一来方便自己回顾知识二来方便博友寻找阅读。

MySQL部署5.1.1拉取MySQL镜像docker pull mysql查看镜像5.1.2创建MySQL容器docker run -di --name demo_mysql -p 33306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql-p 代表端口映射，格式为宿主机映射端口:容器运行端口-e 代表添加环境变量 MYSQL_ROOT_PASSWORD是root用户的登陆密码5.1.3进入MySQL容器,登陆MySQL进入mysql容器

big data

spark

mapreduce

新路线图在Spark一章不再以Java，而把Python语言作为第一语言，更适应未来的发展趋势，路线图主要分为六大模块，根据以下内容对照自己掌握了多少大数据的知识，架构原理 Spark RDD Spark DF Spark DAG Spark SQL内存迭代性能调优。任务调度 Pandas on Spark Spark on Hive Spark Shuffle。美团点评数仓架构小米大数据架构平安大数据架构。* 车联网项目实战* 金融证券项目实战。* 工业项目实战保险大数据实战。

由于我接的私活经常需要使用到Hadoop集群，本地启动有启动速度慢、操作麻烦和占用内存等诟病，有鉴于此何不部署云集群，选择的是Hadoop3.x的伪分布式部署方法。

服务器

分布式

运维

车联网的概念介绍车联网（ Internet of Vehicles ）指按照一定的通信协议和数据交互标准，在“人-车-路-云“之间进行信息交换的网络。即首先实现汽车智能网联化，再利用各种传感技术，感知车辆状态信息，并借助无线通信网络与大数据分析技术实现交通的智能化管理。

大数据

阿里云

腾讯云