分布式调度系统-Apache DolphinScheduler(集群部署)

一、课前准备 Hadoop-3.1.2集群 MySQL-5.7 zookeeper-3.6.2集群 Hive-3.1.2 spark-2.3.3 二、课堂目标 熟练使用DolphinScheduler调度系统 三、知识要点 1、DolphinScheduler简介 Apache DolphinScheduler](https://dolphinscheduler.apache.org/)(目前处在孵化阶段)是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其... ... [查看更多]

Views: 24

CentOS 7安装MySQL5.7 – 大数据环境

一、课前准备 准备一台CentOS 7的服务器 二、课堂主题 如何在CentOS 7当中安装mysql数据库,并开启mysql数据库的远程连接 三、课堂目标 熟练在CentOS 7中安装mysql5.7数据库 四、知识要点 1. root用户下安装mysql CentOS 7中切换到root用户,安装mysql 在CentOS 7中默认安装有MariaDB,这个是MySQL的分支;但还是要安装MySQL,而且安装完成之后会直接覆盖掉MariaDB 2. 安装mysql... ... [查看更多]

Views: 44

Hive安装部署(Ver3.1.2)

一、课前准备 安装好对应版本的hadoop集群,并启动hadoop的HDFS以及YARN服务 安装了MySQL服务,并启动MySQL的服务 二、课堂主题 hive安装部署 三、课堂目标 掌握hive的安装部署 四、知识要点 1. Hive的安装部署(10分钟) 注意hive就是一个构建数据仓库的工具,只需要在一台服务器上安装就可以了,不需要在多台服务器上安装。 此处以安装到node03为例;请大家保持统一 使用hadoop普通用户操作 1.1 先决条件 搭建好三节点... ... [查看更多]

Views: 73

Zookeeper集群安装部署

一、课前准备 准备一台内存最少8G(建议16G)、cpu i7 4核的电脑 二、课堂主题 搭建3节点zookeeper集群 三、课堂目标 完成zookeeper集群安装 四、知识要点 1. zookeeper集群的安装 注意事项:三台机器一定要保证时钟同步 1.1 下载zookeeper的压缩包 下载网址 我们在这个网址下载我们使用的zk版本为apache-zookeeper-3.6.2 下载完成之后,上传到我们的node01的/kkb/soft路径下准备... ... [查看更多]

Views: 44

Hadoop集群搭建(3.X版本,3节点)

一、课前准备 准备一台内存最少8G(建议16G)、cpu i7 4核的电脑 二、课堂主题 安装虚拟化软件VMware 准备3台linux虚拟机 搭建3节点zookeeper集群 搭建3节点的hadoop集群 三、课堂目标 完成大数据课程课前环境准备 四、知识要点 VMware版本: VMware建议使用比较新的版本,如VMware 15.5 关于VMware的安装,直接使用安装包一直下一步安装即可,且安装包当中附带破解秘钥,进行破解即可使用 linux版本 linux统... ... [查看更多]

Views: 121