[数据处理] <永洪tech>定时同步数据的两种标签方式

vincent 显示全部楼层 发表于 2017-12-11 14:18:22 |阅读模式 打印 上一主题 下一主题
        在数据量大、实时性要求不高的场景下,通常为了保障客户应用体验,会使用到yonghongMPP功能,但是如果每天去全量同步会同时增大数据库、产品服务器的负荷,因此通常会使用增量同步的方式,将每天的数据或定期数据进行一次同步。为了降低数据库的负荷以及缩短同步的时间,可以进行增量的方式进行同步。        为了对数据文件进行分类,需要在文件上进行打标签,打了之后我们在读取数据的时候,就不需要读取所有的文件,只需要读取有标签过滤后的文件就可以,加快了速度。产品中有两种打标签的方式:
1、File方式的脚本:
1.png

2、meta方式分类打标签:
1.png



回复

使用道具 举报

精彩评论1

永洪tech-Jung青铜三 显示全部楼层 发表于 2021-12-27 16:26:15
补充一下打meta的3种方式:
1)增量导入数据时系统自动打meta
2)通过脚本设置meta,脚本方式设置参考下面截图。
3)通过分组分割打meta
ps:8.6后引入Setmeta属性,使用Setmeta的限制条件与分组分割相同(需要满足 数据总行数/数据分割列不同值>262144行)



1.png
2.png
回复 支持 反对

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |联系社区管理员|《永洪社区协议》
返回顶部