大数据开发总体架构 什么是Spark Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在某些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的高级API，以及一个支持通用的执行图计算的优化引擎。它还支持一组丰富的高级工具，包括使用SQL进行结构化数据处理的Spark SQL、用于机器学习的MLlib、用于图处理的GraphX，以及用于实时流处理的Spark Streaming。 Spark的主... ... [查看更多]
Views: 139
什么是Scala Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。 Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后在操作系统上运行。其运行时候的性能通常与Java程序不分上下，并且Scala代码可以调用Java方法、继承Java类、实现Java接口等，几乎所有Scala代码都大量使用了Java类库。 由于Spark主要... ... [查看更多]
Views: 73
首先了解下面两个状态的含义： Slave_IO_Running：连接到主库，并读取主库的日志到本地，生成本地日志文件 Slave_SQL_Running:读取本地日志文件，并执行日志里的SQL命令。 如何检查主从配置是否成功 执行start slave;命令启动从服务器后，使用show slave status;命令检查状态，需要保证结果显示中的Slave_IO_Running 与 Slave_SQL_Running 状态都要为Yes, 否则主从的配置就是有问题的。 Slave_IO... ... [查看更多]
Views: 84
1、DataX 基本介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具，致力于实现包括：关系型数据库(MySQL、Oracle等)、HDFS、Hive、HBase、ODPS、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。... ... [查看更多]
Views: 56
一、课前准备 安装好Hadoop集群 安装好kafka集群 二、课堂主题 学习Druid的架构、安装、使用 三、课堂目标 了解druid 了解druid的应用场景 了解druid架构原理 了解druid数据结构 安装部署druid 使用druid 四、知识要点 1. druid是什么 Druid是一个专为大型数据集上的高性能切片和OLAP分析而设计的数据存储系统。 它使用了分布式的、列式存储，支持实时分析 相比传统的OLAP系统，在处理PB级别数据、毫秒级查询、实时处理... ... [查看更多]
Views: 99
