日期: 2021年4月29日

电商日志分析项目 – 04 日志的抽取(Sqoop)

Sqoop 安装

参考SQOOP安装配置

编写Sqoop脚本

点击UI界面Sqoop导出时需要输入导出的源路径，存储位置：

/tmp/project-mapred-result.txt

然后编写Sqoop脚本如下：

#!/bin/bash
/opt/pkg/sqoop/bin/sqoop export \
--connect jdbc:mysql://192.168.186.100:3306/shop \
--username root \
--password niit1234 \
--input-fields-terminated-by '\t' \
--table t_mr_result \
--export-dir $(cat /tmp/project-mapred-result.txt) \
--class-name UpsertMrResult \
--update-key goodsId --update-mode allowinsert

等待一段时间执行完成，查看mysql数据是否发生更新

Views: 75