电商日志分析项目 – 04 日志的抽取(Sqoop)

Sqoop 安装

点击UI界面Sqoop导出时需要输入导出的源路径，存储位置：

1	/tmp/project-mapred-result.txt

然后编写Sqoop脚本如下：

#!/bin/bash

/opt/pkg/sqoop/bin/sqoop export \

--connect jdbc:mysql://192.168.186.100:3306/shop \

--username root \

--password niit1234 \

--input-fields-terminated-by '\t' \

--table t_mr_result \

--export-dir $(cat /tmp/project-mapred-result.txt) \

--class-name UpsertMrResult \

--update-key goodsId --update-mode allowinsert

等待一段时间执行完成，查看mysql数据是否发生更新