Spark RDD弹性分布式数据集

01 什么是RDD Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient Distributed Dataset，简称RDD）。这个数据集的全部或部分可以缓存在内存中，并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。 RDD的弹性主要是指：当内存不够时，数据可以持久化到磁盘，并且RDD具有高效的容错能力。分布式数据集是指：一个数据集存储在不同的节点上，每个节点存储数据集的一部分。 例如，将数据集(hello,world,scala,s... ... [查看更多]

01 什么是RDD Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient Distributed Dataset，简称RDD）。这个数据集的全部或部分可以缓存在内存中，并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。 RDD的弹性主要是指：当内存不够时，数据可以持久化到磁盘，并且RDD具有高效的容错能力。分布式数据集是指：一个数据集存储在不同的节点上，每个节点存储数据集的一部分。 例如，将数据集(hello,world,scala,s... ... [查看更多]

Views: 74

Kafka分布式消息系统

什么是Kafka 在Spark生态体系中，Kafka占有非常重要的位置。Kafka是一个使用Scala语言编写的基于ZooKeeper的高吞吐量低延迟的分布式发布与订阅消息系统，它可以实时处理大量消息数据以满足各种需求。比如基于Hadoop的批处理系统，低延迟的实时系统等。即便使用非常普通的硬件，Kafka每秒也可以处理数百万条消息，其延迟最低只有几毫秒。 在实际开发中，Kafka常常作为Spark Streaming的实时数据源，Spark Streaming从Kafka中读取实时... ... [查看更多]

什么是Kafka 在Spark生态体系中，Kafka占有非常重要的位置。Kafka是一个使用Scala语言编写的基于ZooKeeper的高吞吐量低延迟的分布式发布与订阅消息系统，它可以实时处理大量消息数据以满足各种需求。比如基于Hadoop的批处理系统，低延迟的实时系统等。即便使用非常普通的硬件，Kafka每秒也可以处理数百万条消息，其延迟最低只有几毫秒。 在实际开发中，Kafka常常作为Spark Streaming的实时数据源，Spark Streaming从Kafka中读取实时... ... [查看更多]

Views: 259

初识 Spark (含环境搭建)

大数据开发总体架构 什么是Spark Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在某些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的高级API，以及一个支持通用的执行图计算的优化引擎。它还支持一组丰富的高级工具，包括使用SQL进行结构化数据处理的Spark SQL、用于机器学习的MLlib、用于图处理的GraphX，以及用于实时流处理的Spark Streaming。 Spark的主... ... [查看更多]

大数据开发总体架构 什么是Spark Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在某些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的高级API，以及一个支持通用的执行图计算的优化引擎。它还支持一组丰富的高级工具，包括使用SQL进行结构化数据处理的Spark SQL、用于机器学习的MLlib、用于图处理的GraphX，以及用于实时流处理的Spark Streaming。 Spark的主... ... [查看更多]

Views: 140

Scala语言基础

什么是Scala Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。 Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后在操作系统上运行。其运行时候的性能通常与Java程序不分上下，并且Scala代码可以调用Java方法、继承Java类、实现Java接口等，几乎所有Scala代码都大量使用了Java类库。 由于Spark主要... ... [查看更多]

什么是Scala Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。 Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后在操作系统上运行。其运行时候的性能通常与Java程序不分上下，并且Scala代码可以调用Java方法、继承Java类、实现Java接口等，几乎所有Scala代码都大量使用了Java类库。 由于Spark主要... ... [查看更多]

Views: 73

MySQL主从同步故障解决

首先了解下面两个状态的含义： Slave_IO_Running：连接到主库，并读取主库的日志到本地，生成本地日志文件 Slave_SQL_Running:读取本地日志文件，并执行日志里的SQL命令。 如何检查主从配置是否成功 执行start slave;命令启动从服务器后，使用show slave status;命令检查状态，需要保证结果显示中的Slave_IO_Running 与 Slave_SQL_Running 状态都要为Yes, 否则主从的配置就是有问题的。 Slave_IO... ... [查看更多]

首先了解下面两个状态的含义： Slave_IO_Running：连接到主库，并读取主库的日志到本地，生成本地日志文件 Slave_SQL_Running:读取本地日志文件，并执行日志里的SQL命令。 如何检查主从配置是否成功 执行start slave;命令启动从服务器后，使用show slave status;命令检查状态，需要保证结果显示中的Slave_IO_Running 与 Slave_SQL_Running 状态都要为Yes, 否则主从的配置就是有问题的。 Slave_IO... ... [查看更多]

Views: 86