一、课前准备 安装好对应版本的hadoop集群，并启动hadoop的HDFS以及YARN服务 安装了MySQL服务，并启动MySQL的服务 二、课堂主题 hive安装部署 三、课堂目标 掌握hive的安装部署 四、知识要点 1. Hive的安装部署（10分钟） 注意hive就是一个构建数据仓库的工具，只需要在一台服务器上安装就可以了，不需要在多台服务器上安装。 此处以安装到node03为例；请大家保持统一 使用hadoop普通用户操作 1.1 先决条件 搭建好三节点... ... [查看更多]
Views: 73
一、课前准备 准备一台内存最少8G（建议16G）、cpu i7 4核的电脑 二、课堂主题 搭建3节点zookeeper集群 三、课堂目标 完成zookeeper集群安装 四、知识要点 1. zookeeper集群的安装 注意事项：三台机器一定要保证时钟同步 1.1 下载zookeeper的压缩包 下载网址 我们在这个网址下载我们使用的zk版本为apache-zookeeper-3.6.2 下载完成之后，上传到我们的node01的/kkb/soft路径下准备... ... [查看更多]
Views: 44
一、课前准备 准备一台内存最少8G（建议16G）、cpu i7 4核的电脑 二、课堂主题 安装虚拟化软件VMware 准备3台linux虚拟机 搭建3节点zookeeper集群 搭建3节点的hadoop集群 三、课堂目标 完成大数据课程课前环境准备 四、知识要点 VMware版本： VMware建议使用比较新的版本，如VMware 15.5 关于VMware的安装，直接使用安装包一直下一步安装即可，且安装包当中附带破解秘钥，进行破解即可使用 linux版本 linux统... ... [查看更多]
Views: 121
操作HDFS node01节点用root用户启动hadoop集群 编写flow文件operateHdfs.flow，内容如下 生成zip项目文件、web ui上传zip、执行flow 查看HDFS结果 MR任务 记得启动hadoop的historyserver，否则执行mr项目时，job的日志会报如下类似错误日志 192.168.77.30:10020 应该是hadoop集群的historyserver服务 编写flow文件mr.flow，内容如下 ... ... [查看更多]
Views: 4
4. 邮件报警案例 azkaban邮件报警机制，需要发件人邮箱、收件人邮箱 1、注册邮箱 处理发件人邮箱 注册一个126邮箱，此处邮箱地址是kkb1117@126.com 登录邮箱 开启SMTP服务(simple mail transfer protocol) 已经开启 2、邮件报警案例 node03及web服务器，配置发送告警的发件人邮箱 文件中查找mail 修改这两个属性，同时追加两个mail属性，如下 mail.sender指定邮件发件人的邮箱 mail... ... [查看更多]
Views: 7
