Sqoop 增量导MySQL数据 至Hive

测试积点老人

Sqoop 增量导MySQL数据 至Hive
通过Sqoop 增量导数据到Hive, 命令如下：

1. ./sqoop-job
   
2. --meta-connect jdbc:hsqldb:hsql://127.0.0.1:16000/sqoop
   
3. --create t_order_increment_job
   
4. -- import --connect jdbc:mysql://127.0.0.1:3306/kevin?serverTimezone=Asia/Shanghai
   
5. --username root --password 123456
   
6. --append
   
7. --table t_order_increment
   
8. --columns "id,name,my_time"
   
9. --incremental lastmodified
   
10. --check-column my_time
    
11. --last-value '2019-08-30 21:36:16'
    
12. --as-textfile
    
13. --target-dir /user/hive/warehouse/t_order_increment

复制代码

如果同一条记录，被修改后，导入Hive，会出现两条id相同的记录。有什么好办法可以去掉重复的记录？

abcsell

select * from Hive where id=1

bellas

参考下这个链接https://jingyan.baidu.com/article/b2c186c88b1f33856ef6ff8b.html

海海豚

https://www.cnblogs.com/Alcesttt/p/11432547.html 参考下这个

郭小贱

这个有点难..  等大神回答

jingzizx

可以筛选和定义吧