测试积点老人 发表于 2020-8-19 14:53:37

Sqoop 增量导MySQL数据 至Hive

Sqoop 增量导MySQL数据 至Hive
通过Sqoop 增量导数据到Hive, 命令如下：
./sqoop-job
--meta-connect jdbc:hsqldb:hsql://127.0.0.1:16000/sqoop
--create t_order_increment_job
-- import --connect jdbc:mysql://127.0.0.1:3306/kevin?serverTimezone=Asia/Shanghai
--username root --password 123456
--append
--table t_order_increment
--columns "id,name,my_time"
--incremental lastmodified
--check-column my_time
--last-value '2019-08-30 21:36:16'
--as-textfile
--target-dir /user/hive/warehouse/t_order_increment

如果同一条记录，被修改后，导入Hive，会出现两条id相同的记录。有什么好办法可以去掉重复的记录？

abcsell 发表于 2020-8-20 09:31:23

select * from Hive where id=1

bellas 发表于 2020-8-20 09:55:07

参考下这个链接https://jingyan.baidu.com/article/b2c186c88b1f33856ef6ff8b.html

海海豚 发表于 2020-8-20 09:58:35

https://www.cnblogs.com/Alcesttt/p/11432547.html 参考下这个

郭小贱 发表于 2020-8-20 10:57:06

这个有点难..等大神回答{:4_85:}

jingzizx 发表于 2020-8-20 13:41:25

可以筛选和定义吧
页: [1]
查看完整版本: Sqoop 增量导MySQL数据 至Hive