[数据处理] <永洪tech>新建作业之增量导入数据

永洪tech-Bella 显示全部楼层 发表于 2017-1-5 16:01:58 |阅读模式 打印 上一主题 下一主题
问题:

如何增量导入数据??

解决方法:


1.在产品首页点击【定时任务】,进入定时任务页面,点击【新建任务】,进入编辑作业页面。

1.png


2.填写基本信息(名称,父文件夹,描述)。参考下图:

2.png

【名称】:设定作业的名称,必填项。
【父文件夹】:设置当前作业的位置。
【描述】:为此作业添加描述信息。


3.填写触发器部分的内容(类型,触发器)。参考下图:

3.png

4.填写任务部分的内容,作业中的任务可以是单任务,也可以是多任务,单任务可以新建任务,也可以选择已创建的任务。
[size=13.3333px]任务类型选择增量数据导入,如下图:

[size=13.3333px] 4.png
[size=13.3333px]【类型】类型选择增量导入数据。
[size=13.3333px]【查询】用户可在已有的查询列表中选择查询,必填项
【文件夹】可输入进行增量导入数据生成的云文件夹名称,也可以选择已生成的云文件夹,必填项
【文件前缀】设定执行增量导入数据生成的文件名称。
【追加】当用户勾选追加时,生成的云文件名将会进行排序。如用户创建一增量导入数据任务,即每天
八点对某一查询中的数据进行收集生成云文件,第一天生成的文件名称为 test0,第二天生成的文件名称
为 test1,以此类推。
当用户不勾选追加时,倘若当前文件夹中已经存在此文件名的文件,则不会创建新的云文件来替代。如
用户创建一增量导入数据任务,即每天八点对某一查询中的数据进行收集生成云文件,第一天生成的文
件名称为 test0,第二天将不再生成新的云文件,因为 test0 已经存在了。
【分割】当用户勾选分割时,会出现分割列和分割份数。分割列默认是选中第一个选项,用户可点击下
拉箭头,在下拉框中选择以哪个列进行分割,分割份数为整数,如:3。
当用户不勾选分割时,云文件会按系统默认的设置进行生成。  [size=13.3333px]

[size=13.3333px]4.填写选项部分,一般优先级选择较低。如下图。
[size=13.3333px] 5.png

5.需要填写的部分大概就是这些,点击保存,在定时任务作业的首页就可以看到新建的作业了。可以点击新建的作业,执行试试任务是否执行成功。执行成功后结果如下图。 6.png


6.然后就可以在您安装产品的目录中找到增量导入的数据记录。(比如按照我之前的做法可以找到在Yonghong/cloud/test目录下的test*.zb文件)
8.png





7.png
回复

使用道具 举报

精彩评论2

vicky155lj新手上路 显示全部楼层 发表于 2017-5-3 17:51:08
你好,我想问下,怎么进行定时的增量导入,比如我每周根据日期增量导入这一周的数据
回复 支持 反对

使用道具 举报

jason_wang铂金四 显示全部楼层 发表于 2022-11-18 10:49:18
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |联系社区管理员|《永洪社区协议》
返回顶部