type
status
date
slug
summary
tags
category
icon
password
文章目录
- DolphinScheduler 伪集群部署
- * 前置准备工作
- 准备 DolphinScheduler 启动环境
- * 配置用户免密及权限
- 配置机器 SSH 免密登陆
- 启动 zookeeper
- 修改相关配置
- * 修改 `install_env.sh` 文件
- 修改 `dolphinscheduler_env.sh` 文件
- 初始化数据库
- 启动 DolphinScheduler
- 登录 DolphinScheduler
- 启停服务
DolphinScheduler 伪集群部署
伪集群部署目的是在单台机器部署 DolphinScheduler 服务，该模式下 master、worker、api server 都在同一台机器上
如果你是新手，想要体验 DolphinScheduler
的功能，推荐使用[Standalone](https://dolphinscheduler.apache.org/zh-
cn/docs/3.2.1/guide/installation/standalone)方式体检。如果你想体验更完整的功能，或者更大的任务量，推荐使用[伪集群部署](https://dolphinscheduler.apache.org/zh-
cn/docs/3.2.1/guide/installation/pseudo-
cluster)。如果你是在生产中使用，推荐使用[集群部署](https://dolphinscheduler.apache.org/zh-
cn/docs/3.2.1/guide/installation/cluster)或者[kubernetes](https://dolphinscheduler.apache.org/zh-
cn/docs/3.2.1/guide/installation/kubernetes)
前置准备工作
伪分布式部署 DolphinScheduler 需要有外部软件的支持
- JDK：下载[JDK](https://www.oracle.com/technetwork/java/javase/downloads/index.html) (1.8+)，安装并配置 `JAVA_HOME` 环境变量，并将其下的 `bin` 目录追加到 `PATH` 环境变量中。如果你的环境中已存在，可以跳过这步。
- 二进制包：在[下载页面](https://dolphinscheduler.apache.org/zh-cn/download)下载 DolphinScheduler 二进制包
- 数据库：[PostgreSQL](https://www.postgresql.org/download/) (8.2.15+) 或者 [MySQL](https://dev.mysql.com/downloads/mysql/) (5.7+)，两者任选其一即可，如 MySQL 则需要 JDBC Driver 8.0.16
- 注册中心：[ZooKeeper](https://zookeeper.apache.org/releases.html) (3.8.0+)，[下载地址](https://zookeeper.apache.org/releases.html)
- 进程树分析
- macOS 安装`pstree`
- Fedora/Red/Hat/CentOS/Ubuntu/Debian 安装`psmisc`
* **注意:** DolphinScheduler 本身不依赖 Hadoop、Hive、Spark，但如果你运行的任务需要依赖他们，就需要有对应的环境支持
准备 DolphinScheduler 启动环境
配置用户免密及权限
创建部署用户，并且一定要配置 `sudo` 免密。以创建 dolphinscheduler 用户为例
创建用户需使用 root 登录
useradd dolphinscheduler
添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler
配置 sudo 免密
sed -i '$adolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers
修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
chmod -R 755 apache-dolphinscheduler-*-bin
* **注意:**
* 因为任务执行服务是以 `sudo -u {linux-user}` 切换不同 linux 用户的方式来实现多租户运行作业，所以部署用户需要有 sudo 权限，而且是免密的。初学习者不理解的话，完全可以暂时忽略这一点 * 如果发现 `/etc/sudoers` 文件中有 “Defaults requirett” 这行，也请注释掉
配置机器 SSH 免密登陆
由于安装的时候需要向不同机器发送资源，所以要求各台机器间能实现 SSH 免密登陆。配置免密登陆的步骤如下
su dolphinscheduler
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
* **注意:** 配置完成后，可以通过运行命令 `ssh localhost` 判断是否成功，如果不需要输入密码就能 ssh 登陆则证明成功
启动 zookeeper
进入 zookeeper 的安装目录，将 `zoo_sample.cfg` 配置文件复制到 `conf/zoo.cfg`，并将 `conf/zoo.cfg`
中 dataDir 中的值改成 `dataDir=./tmp/zookeeper`
启动 zookeeper
./bin/zkServer.sh start
修改相关配置
完成基础环境的准备后，需要根据你的机器环境修改配置文件。配置文件可以在目录 `bin/env` 中找到，他们分别是 并命名为
`install_env.sh` 和 `dolphinscheduler_env.sh`。
修改 `install_env.sh` 文件
文件 `install_env.sh` 描述了哪些机器将被安装 DolphinScheduler 以及每台机器对应安装哪些服务。您可以在路径
`bin/env/install_env.sh` 中找到此文件，可通过以下方式更改 env 变量,export <ENV_NAME>=，配置详情如下。
---------------------------------------------------------
INSTALL MACHINE
---------------------------------------------------------
Due to the master, worker, and API server being deployed on a single node, the IP of the server is the machine IP or localhost
ips="localhost"
sshPort="22"
masters="localhost"
workers="localhost:default"
alertServer="localhost"
apiServers="localhost"
DolphinScheduler installation path, it will auto-create if not exists
installPath=~/dolphinscheduler
Deploy user, use the user you create in section **Configure machine SSH password-free login**
deployUser="dolphinscheduler"
修改 `dolphinscheduler_env.sh` 文件
文件 `./bin/env/dolphinscheduler_env.sh` 描述了下列配置：
- DolphinScheduler 的数据库配置，详细配置方法见[初始化数据库]
- 一些任务类型外部依赖路径或库文件，如 `JAVA_HOME` 和 `SPARK_HOME`都是在这里定义的
如果您不使用某些任务类型，您可以忽略任务外部依赖项，但您必须根据您的环境更改 `JAVA_HOME`、注册中心和数据库相关配置。
JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=${JAVA_HOME:-/opt/soft/java}
Database related configuration, set database type, username and password
export DATABASE=${DATABASE:-postgresql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:postgresql://127.0.0.1:5432/dolphinscheduler"
export SPRING_DATASOURCE_USERNAME={user}
export SPRING_DATASOURCE_PASSWORD={password}
DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}
Registry center configuration, determines the type and link of the registry center
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-localhost:2181}
Tasks related configurations, need to change the configuration if you use the related tasks.
export HADOOP_HOME=${HADOOP_HOME:-/opt/soft/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
export SPARK_HOME=${SPARK_HOME:-/opt/soft/spark}
export PYTHON_LAUNCHER=${PYTHON_LAUNCHER:-/opt/soft/python}
export HIVE_HOME=${HIVE_HOME:-/opt/soft/hive}
export FLINK_HOME=${FLINK_HOME:-/opt/soft/flink}
export DATAX_LAUNCHER=${DATAX_LAUNCHER:-/opt/soft/datax/bin/python3}
export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_LAUNCHER:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_LAUNCHER:$PATH
初始化数据库
请参考 [数据源配置] `伪分布式/分布式安装初始化数据库` 创建并初始化数据库
启动 DolphinScheduler
使用上面创建的**部署用户** 运行以下命令完成部署，部署后的运行日志将存放在 logs 文件夹内
bash ./bin/install.sh
* **注意:** 第一次部署的话，可能出现 5 次`sh: bin/dolphinscheduler-daemon.sh: No such file or directory`相关信息，此为非重要信息直接忽略即可
登录 DolphinScheduler
浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统 UI。默认的用户名和密码是
启停服务
一键停止集群所有服务
bash ./bin/stop-all.sh
一键开启集群所有服务
bash ./bin/start-all.sh
启停 Master
bash ./bin/dolphinscheduler-daemon.sh stop master-server
bash ./bin/dolphinscheduler-daemon.sh start master-server
启停 Worker
bash ./bin/dolphinscheduler-daemon.sh start worker-server
bash ./bin/dolphinscheduler-daemon.sh stop worker-server
启停 Api
bash ./bin/dolphinscheduler-daemon.sh start api-server
bash ./bin/dolphinscheduler-daemon.sh stop api-server
启停 Alert
bash ./bin/dolphinscheduler-daemon.sh start alert-server
bash ./bin/dolphinscheduler-daemon.sh stop alert-server
* **注意 1:** : 每个服务在路径 `<service>/conf/dolphinscheduler_env.sh` 中都有 `dolphinscheduler_env.sh` 文件，这是可以为微 服务需求提供便利。意味着您可以基于不同的环境变量来启动各个服务，只需要在对应服务中配置 `<service>/conf/dolphinscheduler_env.sh` 然后通过 `<service>/bin/start.sh` 命令启动即可。但是如果您使用命令 `/bin/dolphinscheduler-daemon.sh start <service>` 启动服务器，它将会用文件 `bin/env/dolphinscheduler_env.sh` 覆盖 `<service>/conf/dolphinscheduler_env.sh` 然后启动服务，目的是为了减少用户修改配置的成本.
- 作者:Maynor
- 链接:https://maynor1024.live/article/2dd1f390-6aa9-81c1-aa2e-ce45eb6f2eb3
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
