[报错信息处理] 通过自服务数据集操作两个数据集市,生成报告,保存警告

ZhangNX白银三 显示全部楼层 发表于 2022-1-11 16:46:06 |阅读模式 打印 上一主题 下一主题
因为是跨DB取得数据所以做了两个数据集市,在通过自服务数据集经过连接和汇总等操作得到自己想要的数据,但是在保存生成的报告时有下面警告,请问大家怎么解决

回复

使用道具 举报

精彩评论11

_贝贝白银二 显示全部楼层 发表于 2022-1-11 17:02:09
没有看到您当前的图片呢,可以重新上传下吗
回复

使用道具 举报

ZhangNX白银三 显示全部楼层 发表于 2022-1-11 17:14:48
图片被吃了  重新传下 发现在自服务数据集时就有了

微信图片_20220111171358.png
回复

使用道具 举报

_贝贝白银二 显示全部楼层 发表于 2022-1-11 18:19:33
回复

使用道具 举报

ZhangNX白银三 显示全部楼层 发表于 2022-1-11 18:51:44
永洪tech-Muse 发表于 2022-1-11 18:19
可以看下这个帖子
https://club.yonghongtech.com/forum.php?mod=viewthread&tid=15503&page=1&extra=#pid3 ...

这个回复是有帮助的。但是根据这个回复,难道我在Map side join数据集时需要先把数据集放在新建的自服务数据集或者组合数据集中才可以实现join的操作么?其次,我的版本是9.2.2是支持两个大表的Map side join 的,我是在将组合数据中的子数据集入集市的过程中出现了问题,我已经将两个大表的关联条件加入了切片列,是否需要将聚合的条件也勾选上切片列呢?
回复

使用道具 举报

环环白银三 显示全部楼层 发表于 2022-1-11 19:20:11
本帖最后由 永洪tech-秀秀 于 2022-1-11 19:59 编辑

就是在组合的时候,如果集市文件满足条件就可以做Map-side join。可以参与join的两个子数据集需要保证联接条件中选择的联接列都经过分片,且在入集市时勾选的分片列都要做为联接条件。
回复

使用道具 举报

ZhangNX白银三 显示全部楼层 发表于 2022-1-11 19:46:03
永洪tech-秀秀 发表于 2022-1-11 19:20
入集市和做组合的先后顺序,建议是先组合再入集市,这样就可以直接读取集市数据做计算。否则需要先读取集市 ...

我是两个不同源的数据集组合,也是先组合再入集市么,是否需要勾选join结果加速。其次性能测试提示问题是因为我的做法会影响速度才发出的,不是错误导致不能运行是么?
回复

使用道具 举报

环环白银三 显示全部楼层 发表于 2022-1-11 19:53:03
本帖最后由 永洪tech-秀秀 于 2022-1-11 20:00 编辑

可以看下这篇文章,如果是两个大表要组合,在入集市时勾上分片列,做组合时才能做Map side join。那个是性能检测,可以运行,只是不能做Map Side Join ,运行起来会比较慢
https://mp.weixin.qq.com/s?__biz ... 6935c1&platform=win
回复

使用道具 举报

ZhangNX白银三 显示全部楼层 发表于 2022-1-11 20:13:23
永洪tech-秀秀 发表于 2022-1-11 19:53
可以看下这篇文章,如果是两个大表要组合,在入集市时勾上分片列,做组合时才能做Map side join。
可以参与 ...

抱歉我的描述可能有些模糊,问题是两个不同源的数据集,其中每个数据集都是单表查询,我需要对这两个数据集进行组合时,应该怎么做呢?
回复

使用道具 举报

环环白银三 显示全部楼层 发表于 2022-1-11 20:31:17
如果是不同源的只有通过组合数据集,两个单表的数据量大概是多少呢。如果数据量大尽量走Map Side Join,前提是如果是大表join大表入集市时要用分片列,如果是大表join小表用事实表——维度表,然后在用集市数据集做组合。
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |联系社区管理员|《永洪社区协议》
返回顶部