Maxwell 数据库数据实时采集

1、Maxwell 简介 Maxwell 是一个能实时读取 MySQL 二进制日志文件binlog,并生成 Json格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。 官网(http://maxwells-daemon.io) GitHub(https://gi... ... [查看更多]

Views: 11

Flume综合案例之拦截器

Flume综合案例之静态拦截器使用 1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在需要把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的目录为: 2. 场景分析 3. 数据流程处理分析 4. 实现 服务器A对应的IP为 192.168.52.100 服务器B对应的IP为 192.168... ... [查看更多]

Views: 108

大数据日志分析项目需求

目标:电商网站+电商网站后台管理系统+大数据分析+数据可视化思路: 按照数据的采集,数据的存储,数据分析处理,数据可视化 逻辑图: 项目要求    题材不限,但需先经过老师认可 各组组长记录组员项目进度,每周提交给老师 数据源至少来自两处,可以是日志、关系型数据库、以及爬虫的数据 日志允许通过代码生成(或者ab压测工具来生成) 前后台管理页面不能和老师的一样    讲述清楚nginx、tomc... ... [查看更多]

Views: 115

分布式调度系统-Apache DolphinScheduler(集群部署)

一、课前准备 Hadoop-3.1.2集群 MySQL-5.7 zookeeper-3.6.2集群 Hive-3.1.2 spark-2.3.3 二、课堂目标 熟练使用DolphinScheduler调度系统 三、知识要点 1、DolphinScheduler简介 Apache DolphinScheduler](https://dolphinscheduler.apache.org/)(目前处在孵化阶段)是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其... ... [查看更多]

Views: 26

CentOS 7安装MySQL5.7 – 大数据环境

一、课前准备 准备一台CentOS 7的服务器 二、课堂主题 如何在CentOS 7当中安装mysql数据库,并开启mysql数据库的远程连接 三、课堂目标 熟练在CentOS 7中安装mysql5.7数据库 四、知识要点 1. root用户下安装mysql CentOS 7中切换到root用户,安装mysql 在CentOS 7中默认安装有MariaDB,这个是MySQL的分支;但还是要安装MySQL,而且安装完成之后会直接覆盖掉MariaDB 2. 安装mysql... ... [查看更多]

Views: 44