Hadoop Yarn (3) 应用运行原理

3. YARN应用运行原理(重点) 3.1 YARN应用提交过程 Application在Yarn中的执行过程,整个执行过程可以总结为三步: 应用程序提交 启动应用的ApplicationMaster实例 ApplicationMaster 实例管理应用程序的执行 具体提交过程为: 客户端程序向 ResourceManager 提交应用,并请求一个 ApplicationMaster 实例; ResourceManager 找到一个可以运行一个 Container ... ... [查看更多]

Views: 31

Java带Jar包编译方式

java命令行编译带jar包 项目的结构如下 简单的不带包名的java源文件编译 编译 运行 简单的带包名的java源文件编译 编译 运行 对带一个jar包的java源文件编译 编译 运行 注意 其中 -cp 等同于 –classpath 路径分隔符要注意windows系统要把冒号改成分号 引入多个jar包的java源文件编译 编译 运行 另外:对于多个jar分散在多个文件夹中时, 编译使用: 运行时使用: ... ... [查看更多]

Views: 8

电商日志分析项目 – 02 日志的生成和采集(Flume)

Hadoop安装与配置 Hadoop3.1.4的单机安装参考 Flume的安装与配置 Flume的安装与配置参考 Apache httpd 安装 安装httpd的原因主要是使用它提供的ab压测工具. 安装httpd 配置httpd,为了避免和ngixn端口冲突修改端口号为81,配置如下: 修改内容如下: 启动服务 查看启动状态 注意: 其实使用httpd只是为了使用ab工具,无需启动httpd服务 AB压测生成日志 访问http://hadoop100/... ... [查看更多]

Views: 128

电商日志分析项目 – 01 环境搭建和项目部署

一、CentOS7下MySQL-5.7使用yum方式安装: Centos7的MySQL安装 卸载mariaDb mysql被oracle收购后为了防止mysql有可能变成闭源,因此mysql创始人maria就开源做了一个mariaDb, centos7是自带使用了这个数据库的.因此安装mysql之前,应当首先卸载mariadb数据库: 同理如果是已经安装过其他版本的MySQL,安装新的版本之前也需要按照如上方法进行卸载。 安装MySQL 下载mysql的YUM源: https:/... ... [查看更多]

Views: 137