目标：电商网站+电商网站后台管理系统+大数据分析+数据可视化思路： 按照数据的采集，数据的存储，数据分析处理，数据可视化 逻辑图： 项目要求 题材不限，但需先经过老师认可 各组组长记录组员项目进度，每周提交给老师 数据源至少来自两处，可以是日志、关系型数据库、以及爬虫的数据 日志允许通过代码生成（或者ab压测工具来生成） 前后台管理页面不能和老师的一样 讲述清楚nginx、tomc... ... [查看更多]
Views: 115
分类： BigData
分布式调度系统-Apache DolphinScheduler（集群部署）
一、课前准备 Hadoop-3.1.2集群 MySQL-5.7 zookeeper-3.6.2集群 Hive-3.1.2 spark-2.3.3 二、课堂目标 熟练使用DolphinScheduler调度系统 三、知识要点 1、DolphinScheduler简介 Apache DolphinScheduler](https://dolphinscheduler.apache.org/)（目前处在孵化阶段）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其... ... [查看更多]
Views: 24
Hive安装部署（Ver3.1.2）
一、课前准备 安装好对应版本的hadoop集群，并启动hadoop的HDFS以及YARN服务 安装了MySQL服务，并启动MySQL的服务 二、课堂主题 hive安装部署 三、课堂目标 掌握hive的安装部署 四、知识要点 1. Hive的安装部署（10分钟） 注意hive就是一个构建数据仓库的工具，只需要在一台服务器上安装就可以了，不需要在多台服务器上安装。 此处以安装到node03为例；请大家保持统一 使用hadoop普通用户操作 1.1 先决条件 搭建好三节点... ... [查看更多]
Views: 73
Zookeeper集群安装部署
一、课前准备 准备一台内存最少8G（建议16G）、cpu i7 4核的电脑 二、课堂主题 搭建3节点zookeeper集群 三、课堂目标 完成zookeeper集群安装 四、知识要点 1. zookeeper集群的安装 注意事项：三台机器一定要保证时钟同步 1.1 下载zookeeper的压缩包 下载网址 我们在这个网址下载我们使用的zk版本为apache-zookeeper-3.6.2 下载完成之后，上传到我们的node01的/kkb/soft路径下准备... ... [查看更多]
Views: 44
Hadoop集群搭建（3.X版本，3节点）
一、课前准备 准备一台内存最少8G（建议16G）、cpu i7 4核的电脑 二、课堂主题 安装虚拟化软件VMware 准备3台linux虚拟机 搭建3节点zookeeper集群 搭建3节点的hadoop集群 三、课堂目标 完成大数据课程课前环境准备 四、知识要点 VMware版本： VMware建议使用比较新的版本，如VMware 15.5 关于VMware的安装，直接使用安装包一直下一步安装即可，且安装包当中附带破解秘钥，进行破解即可使用 linux版本 linux统... ... [查看更多]
Views: 121