51Testing软件测试论坛

标题: Sqoop 增量导MySQL数据至Hive [打印本页]

作者: 测试积点老人 时间: 2020-8-19 14:53
标题: Sqoop 增量导MySQL数据至Hive
Sqoop 增量导MySQL数据至Hive
通过Sqoop 增量导数据到Hive, 命令如下：

./sqoop-job
--meta-connect jdbc:hsqldb:hsql://127.0.0.1:16000/sqoop
--create t_order_increment_job
-- import --connect jdbc:mysql://127.0.0.1:3306/kevin?serverTimezone=Asia/Shanghai
--username root --password 123456
--append
--table t_order_increment
--columns "id,name,my_time"
--incremental lastmodified
--check-column my_time
--last-value '2019-08-30 21:36:16'
--as-textfile
--target-dir /user/hive/warehouse/t_order_increment

复制代码

如果同一条记录，被修改后，导入Hive，会出现两条id相同的记录。有什么好办法可以去掉重复的记录？

作者: abcsell 时间: 2020-8-20 09:31
select * from Hive where id=1

作者: bellas 时间: 2020-8-20 09:55
参考下这个链接https://jingyan.baidu.com/article/b2c186c88b1f33856ef6ff8b.html

作者: 海海豚 时间: 2020-8-20 09:58
https://www.cnblogs.com/Alcesttt/p/11432547.html 参考下这个

作者: 郭小贱 时间: 2020-8-20 10:57
这个有点难.. 等大神回答

作者: jingzizx 时间: 2020-8-20 13:41
可以筛选和定义吧

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)