[AI分析] 如何利用永洪产品Impala数据源的高级属性进行数据管控?

寻找新技能 显示全部楼层 发表于 2020-1-14 17:38:00 |阅读模式 打印 上一主题 下一主题

某财险类客户案例

永洪的某财险客户需要业务用户进行自助式分析,高峰期在350并发以上,企业IT管理部希望对所有IT人员和业务人员查询数据的数据量大小优先级进行管控,然后让业务用户进行自助式分析。
如何设置?

因为该财险公司已经将数据存储在了Cloudera Impala集群中。该财险的IT管理部门会根据每一个用户的数据量大小、业务类型分配队列,并且详细设置该队列中的默认查询参数,尤其是mem_limit参数和最大并发数,这样可以较好的限制用户之间的影响,为了避免恶意用户的使用,可以限制用户自己设置mem_limit参数,尽可能得保证Impala集群的稳定性。


1、在Impala数据库层面,IT管理员或者DBA可以在session建立之后进行设置。

设置队列限制

set request_pool = queue_it;

用户在创建一个数据源连接(connection)之后,可以通过set request_pool=pool_name的方式设置改session的请求提交的对应的队列。


设置最大内存使用限制

set mem_limit=10G;

设置内存10G(单节点上的内存量),impala经常会over estimate SQL语句需要的资源,所以强烈建议在执行SQL之前,使用 set mem_limit 限制SQL查询的内存消耗。



2、永洪产品设置

提供了在数据源连接后对session进行设置的属性。

针对于不同2种类的用户,IT管理员期望根据数据量大小、业务类型设置分配的队列。



企业微信截图_16469758607882.png


实现步骤:

选择永洪产品数据源,impala:

640.jpg
在设置好Impala数据源的基础连接信息后,选择数据源的高级属性进行如图设置。

直接在队列名设置queue_it , 并且点击添加高级属性限制mem_limit=2G。

如下所示,IT部门的数据源为Impala_it,设置如下:

640 (1).jpg

财务部门的数据源Impala_finance,设置如下:

640.png

两者存储在数据源上的资源树上,如下图所示:

640 (2).jpg

财险部门的用户(user_finance)在制作数据集时直接选择对应的数据源即可查询数据。

640 (3).jpg

以上就是关于永洪产品Impala数据源的高级属性的使用介绍,永洪科技强大的产品功能,不仅可以帮助企业人员实现数据化管理,也让更多业务人员能够进行自助式分析查询。关于永洪产品的功能介绍,我们将持续更新。




回复

使用道具 举报

精彩评论2

Fireworks铂金三 显示全部楼层 发表于 2022-3-10 17:21:20
在设置好Impala数据源的基础连接信息后,选择数据源的高级属性进行如图设置。 直接在队列名设置queue_it , 并且点击添加高级属性限制mem_limit=2G。 如下所示,IT部门的数据源为Impala_it     你好这篇文章的图片失效了,不知这句话具体怎么实现的
回复 支持 反对

使用道具 举报

wendy白银一 显示全部楼层 发表于 2022-3-11 13:29:12
Fireworks 发表于 2022-3-10 17:21
在设置好Impala数据源的基础连接信息后,选择数据源的高级属性进行如图设置。 直接在队列名设置queue_it ,  ...

不好意思,感谢您发现了图片不存在;现在已经恢复图片,请您查看,谢谢
回复 支持 反对

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |联系社区管理员|《永洪社区协议》
返回顶部