稳定和性能如何兼顾？58大数据平台的技术演进与实践

你愿意去月球过穴居生活吗

这篇文章将为你同享58大数据渠道在近来一年半内技能演进的进程，包含：58大数据渠道现在的全体架构是怎样的；近来一年半的时刻内咱们面对的疑问、应战以及技能演进进程；以及将来的计划。写在前面

赵健博，来自58赶集，这篇文章将为咱们同享58大数据这块的阅历。本科和研讨生分别是在北京邮电大学和中国科学院核算技能研讨所，之前在baidu和360工作，现在是58赶集高档架构师、58大数据渠道负责人。多年的散布式体系（存储、核算）的实习和研制阅历，在工作的这些年中运营了大巨细小的集群，最大单集群也到达了四五千台，在这个进程中做了许多的功用研制、体系优化，也淌了许多的坑，这篇文章会给咱们介绍一些自认为比照首要的阅历。

（图二）

星星的孩子，你的世界同样精彩——“世界自闭症日”对话神经科学家仇子龙

首要看一下58大数据渠道架构。大的方面来说分为三层：数据根底渠道层、数据运用渠道层、数据运用层，还有两列监控与报警和渠道办理。

数据根底渠道层又分为四个子层：

（图三）

打造医疗器械小批量定制化生产能力，强生3D打印中心在行动！

以上是在安稳性方面的一些工作，这三个事例跟咱们同享一下，假如有相似的疑问主张咱们能够测验一下，这些计划是被咱们验证OK的。

渠道办理

接下来介绍一下渠道办理这块。包含几个疑问，其间榜首疑问是对于数据的，一方面，即是咱们开发了数据今后，常常找不到，要靠喊，比方说在群里喊一下啥数据在哪，谁能告诉我一下，这个功率很低下。别的一方面是之前的办理数据是同享的，不安全，任何人都能够拜访别的人的数据。

第二个疑问是对于资本，之前是“大锅饭”形式，咱们同享核算资本，相互竞争，这么“能吃的“肯定是挤兑”不能吃的“，常常呈现中心使命不能准时按点完结，老板看不到数据，这点很可怕。还有是悉数集群资本运用状况没有感知，这么底子不知道资本要怎样分配，是不是够用。

做资本阻隔，咱们的思路是选用标签化，给每个NodeManager赋予不相同标签，表明不相同机器被分配了不相同标签；资本行列也赋予不相同标签，然后在RM调度时，确保相同标签的行列里容器资本必从相同标签的NodeManager上分配的。这么就能够经过标签的不相同到达物理上的资本阻隔方针。

接下来看一下HDFS拓展性的疑问。上面这张图展现了hdfs federation的架构，左边是一个单namespace架构，即悉数目录树在一个namespace中，悉数集群的文件数计划受约束于单机内存的约束。federation的思维是把目录树拆分，构成不相同的namespace，不相同namespace由不相同namenode办理，这么就打破了单机资本约束，然后到达了可拓展的方针，如右侧图。

（图四）

如何把太阳能电池“打印”出来？｜主编点评

此外，有了可用性和拓展性，体系就安稳了吗？实习上不是这么。由于还有许多的突发疑问。即便处理了可用性和拓展性，但突发疑问仍是也许会构成体系不可用，例如由于一些疑问构成两台NameNode悉数宕机。

第二个疑问，机器是有限的，怎样高效运用资本，需求把机器分配形式变成资本分配形式。还有光有单机的机器学习或许深度学习东西还不行，由于功用太差，所以咱们需求将深度学习练习散布式化。咱们做了一个开始的测验，对于caffe与Tensorflow东西的散布式化练习做了比照，4卡相对于单卡模型练习功用进步100%~170%，所以散布式化的工作自身含义也是十分大的。

第二点小文件兼并处理，能够进步使命履行功率，削减调度自身的开支。

当这个因素了解了今后，本来要处理这个疑问也十分简略。

这个即是现在58大数据渠道的全体架构图：

（图五）

战旗直播将独立成为上市资产 别人抢主播它在做自制赛事和线下电竞馆

第三个疑问是对于工作的，开发人员开发许多的工作今后，这些工作要怎样办理，实习上他们也许都不知道。还有即是对于工作之间依靠，常常一个方针核算出来要阅历多个工作，工作之间依靠是怎样思考的，单纯靠时刻上的依靠是十分软弱的，假如前期的job推迟发生了，后续的job必定失利。终究一个疑问是数据开发人员的功率不高，所需求做的进程过多。

首要是实时流，即是黄色箭头标识的这个途径。数据实时搜集过来今后首要会进入到Kafka渠道，先做缓存。实时核算引擎比方Spark streaming或storm会实时的从Kafka中取出它们想要核算的数据。经过实时的处理今后成果也许会写回到Kafka或许是构成终究的数据存到MySQL或许HBase，供给给事务体系，这是一个实时途径。

这个图展现的是东西交融计划。咱们这儿运用的是Kubernetes，支撑干流的深度学习东西，每个东西做成镜像构成POD，用户需求的话能够直接把POD分发给他，用户在练习的时分从HDFS上直接拉取样本，并且把练习的参数回写到HDFS上，也即是说经过HDFS做数据的同享，经过这种形式能够很轻松地支撑多种深度学习东西，也能够到达按所需资本量进行资本的分配方针。

（图六）

注意，或许你家电器也需要"过"个清明节了

对于这四个疑问咱们做了一些改善，首要是数据与资本办理。数据方面要引进安全战略、元信息办理与根底数仓建造。咱们自个开发了一套安全操控战略，首要增加了白名单和权限操控战略。一个HDFS的恳求的流程，首要客户端会向NameNode发恳求，NameNode接到恳求今后首要要做衔接解析，读取出恳求有关内容做恳求处理，再把成果反应回来，今后客户端向相应的DataNode进行写入数据或许读取数据。从上述流程能够看出，一切HDFS操作悉数要经过NameNode这一层。

有了账号的概念今后咱们就能够核算每个事务线资本运用状况。咱们天天都会有报表。显现了事务线的核算和存储资本的运用状况，乃至是Job的细节状况。

接下来的疑问是，为啥会发生这么多的衔接呢？经过剖析咱们发现，在疑问呈现的时分，存在一次大目录的DU操作，而DU会锁住悉数namespace，这么就致使后续的写恳求被堵塞，终究致使恳求的堆积，恳求的堆积致使了衔接数许多堆积，衔接数堆积到必定程度就触发JDK1.7的这个BUG。这个疑问的处理，从两个方面看，首要咱们先把JDK晋级到1.8。其次，调整参数dfs.content-summary.limit，约束du操作的持锁时刻。该参数默许参数是0。咱们现在是设成10000了，咱们能够参阅。这是第二个十分扎手的疑问。

咱们的处理办法是在Local和Center中心加了一个ZooKeeper，Local经过ZK动态发现Center，动态的发现下流有啥，就能够到达Center主动扩容的方针了。咱们公司Local有两千多台，扩容一台Center仅需一分钟，这种架构实习上能够支撑到达万台计划的，这是Flume拓展性的一些改善。

MR工作功用、数据搜集功用、SQL查询功用和多维剖析的功用。对于MR工作功用，咱们引证多租户功用，资本预留，中心工作履行有确保。

在数据流以外还有一套办理渠道。包含元信息办理（云窗）、工作办理渠道（58dp）、权限批阅和流程主动化办理渠道（NightFury）。

首要我介绍了58现在的大数据渠道架构是怎样的，简略来说即是“342”，三个层次、细分为四个子层、周围两列。所以咱们要做大数据渠道建造工作，这几个方面是必备的。

存储层，典型的体系HDFS（文件存储）、HBase（KV存储）、Kafka（音讯缓存）；

第二是checkpoint今后fsimage回传限速。把editlog与fsimage两个磁盘别离，fsimage回传的io压力不会对客户端恳求构成影响，别的，回传限速后，也能约束io压力。这是比照扎手的疑问。因素看起来很简略，可是从景象找到因素，这个进程并没有那么简略。

（图七）

不但要殖民火星，马斯克还想把你改造成半机器人

（图八）

独家 | 滴滴即将接入ofo，四轮+两轮会是出行的最终解决方案？

这是NightFury的界面，这即是咱们运维的主动化办理渠道，咱们能够看到有许多个流程和权限的注册恳求，表单的填写、工单批阅，批阅今后的一些流程悉数是主动化的。

功用

功用方面，首要分为四个方面：

这张图展现了根底数据仓库掩盖度，它掩盖了集团各个公司，又掩盖了多个渠道，比方说手机、App端、PC端、微信端等等。数据层次，是数据仓库层、数据集市层仍是数据运用层，所属哪个工作群，终究对于数据进行分类标签，比方说帖子数据、用户数据等等都能够经过标签的办法来找到。当想找详细一份数据的时分能够经过这个界面，点一些标签，筛选出一些数据表，乃至在查找框里边搜数据的关键词。

还有一个进程，Standby NameNode会定时做checkpoint工作，然后在checkpoint做完今后会回传最新的fsimage给active，终究保留在active的磁盘中，默许状况下在回传进程会构成许多的网络和磁盘的压力，致使active的本地磁盘的Util到达100%，此刻用户改变恳求推迟就会变高。假如磁盘的Util100%持续时刻很长就会致运用户恳求超时，乃至Checher的检查恳求也因排队过长而超时，终究然后触发Checker裁定HA切换。

此外，咱们还开发了一个高牢靠的Agent。事务体系中会把数据发生日志写到磁盘上，Agent确保数据从磁盘上实时牢靠的搜集给本地的Local，其间咱们选用了检查点的技能来处理数据牢靠性的疑问。

（图九）

16亿！都是别人家的融资，你的B2B咋整~假期没事儿真该想想了……

后续咱们会对核算资本运用率再做进一步进步。别的也会思考Storm和YARN拓展性。还有Kubernetes调度优化，比方对于GPU资本办理功用。

元信息办理，还有对于一切核算引擎、核算引擎job的工作办理，今后即是交互剖析、多维剖析以及数据可视化的功用。

飞流是支撑周期性的核算、全天累计性的核算，咱们能够界说核算办法、界说使命的一些基本信息，设置维度、设置衡量，设置完今后就展现了图形，也供给了跟昨日的比照状况。当在图里点任何一个点的时分，能够看到不相同维度组合下在这个点上的数据散布，点击两个点能够看到不相同维度下两个点的散布比照。对于历史数据能够进行比照，咱们能够把时刻拉的更长，能够检查不相同周的实时核算成果，而不是一天。

榜首点要把editlog与fsimage保留的本地目录别离装备，这种别离是磁盘上的别离，物理别离。

（图一十）

Facebook进军PC直播，这事靠谱吗？

详细施行时，榜首步对集群数据进行冷热剖析，RAID终究有些功用疑问，一旦数据有疑问，你要经过核算才干康复，势必会构成功用低下，所以对于冷数据做肯定是危险最低的。第二步即是紧缩+archive+RAID，经过三方面技能联系把文件数和空间悉数节约出来。归档实习上是会改换目录的，为了做适配，咱们经过软衔接功用，做到对用户通明。终究在数据读取时，假如是RAID数据，就要具有实时RAID修正功用才干确保在数据缺失的状况下不影响数据的拜访。

但这个计划有一些躲藏的疑问，不知道咱们有没有注意到，比方这儿每个Datanode都会与一切的NameNode去心跳，假如DataNode数量上万台，那么就也许会呈现两个疑问：榜首，从主节点之间的心跳、块报告变成瓶颈，第二，假如单个有些的数据计划过大那该怎样办？

今后咱们从其时的日志中发现了因素：一个用户写了一万个文件到散布式缓存里，散布式缓存里数据会同步到ZK上，RM耐久化工作状况到ZK时超越Znode单节点最大上限，抛出反常，终究致使ResourceManager进程的反常退出。本来疑问的处理办法也十分简略，咱们增加了约束逻辑，对于序列化数据量大于Znode节点巨细的Job，直接抛反常触发Job的失利。别的咱们还恰当进步Znode节点巨细。

（图一十一）

CIO:营销和品牌部门需要怎样的DMP

从上面图中能够看出：假如实时工作的task和批处理工作的task被调度到一台机器上了，假如批处理工作把资本占满了（例如网络带宽），则实时工作的task必将收到影响。所以，需求对实时工作和批处理工作做阻隔才行。

以上即是我今天想介绍的悉数内容。在完毕之前请答应我再做一下总结。

这是云窗的界面，上面是一个SQL查询界面，下面是可视化商品界面，这是咱们数据可视化的一个成果。

榜首个比方是HDFS的Active NN会不定时反常退出，触发HA切换，这就如同一个不定时炸弹相同。这个图展现了HDFS的HA的架构图，客户端进行改变操作（如创立文件）的话会宣布恳求给namenode，namenode恳求处理完今后会进行耐久化工作，会在本地磁盘存一份，一起会在同享存贮存一份，同享存储是为了active和standby之间同步状况的，standby会周期从同享存储中拉取更新的数据运用到自个的内存和目录树傍边，一切的DataNode都是双报告的，这么两个namenode都会有最新的块信息。最上面的是两个Checker，是为了裁定终究谁是Active的。

（图一十二）

小米困难时期已过 今年印度营收翻番

再往上是支撑58集团的数据事务，比方说流量核算、用户做法剖析、用户画像、查找、广告等等。对于事务、数据、效劳、硬件要有齐备的检查与报警体系。

再往上即是调度层，这个层次上咱们选用了Yarn的一致调度以及Kubernetes的依据容器的办理和调度的技能；

（图一十三）

沁州黄小米再获国字号殊荣

这个图展现的是架构图中所包含的体系数据活动的状况。分为两个有些：

再往上是核算层，包含了典型的一切核算模型的核算引擎，包含了MR、HIVE、Storm、Spark、Kylin以及深度学习渠道比方Caffe、Tensorflow等等。

（图一十四）

不开玩笑，4月除了小米6还有这些新品发布

第三个事例对于YARN主节点的，有一天正午，咱们收到报警，发现Active RM反常进程退出，触发HA的切换，可是切换后一会新的Active RM节点也会反常退出，这就比照悲惨剧，咱们领先行了康复。

然后对于使命开发的话，咱们用58DP来做使命开发，能够支撑的不相同使命，包含现在的一切干流工作以及工作依靠等办理。这是58DP的页面，能够设置基本信息、调度及依靠等。

首要看一下Flume的拓展性。咱们人为的把它界说了两层。一个是FlumeLocal（首要处理一台机器的日志搜集疑问，简称Local），一个是FlumeCenter（首要从Local上搜集数据，然后把数据写到HDFS上，简称Center），Local和Center之间是有一个HA的思考的，即是Local需求在装备文件里指定两个Center去写入，一旦一个Center呈现疑问，数据能够立刻从另一个Center流向HDFS。

数据运用渠道首要包含以下功用：

接下来我会介绍一下事务线开发功率低下疑问的改善，实习上咱们在易用性上也做了许多改善。首要咱们开发了云窗渠道，它首要处理了元信息查找、数据查询、可是化展现和多维剖析这些需求。然后对于使命开发这块咱们开发了58DP处理了元信息开发、工作办理与核算等。咱们对于实时多维剖析开发了飞流，实时工作开发悉数装备化、一起支撑多种统核算子、主动图表生成等等。还有NightFury，流程主动化办理渠道。

经过三个方面的改善今后，咱们全体使命的运转时刻实习上有一倍摆布的进步。数据传输优化方面，咱们经过音讯兼并改善数据传输功用，进步了20倍。在SQL优化方面咱们引证内存履行引擎与列存储计划的联系，在平等资本状况下对于线上一百多条SQL进行测验，全体功用大约进步80%。在多维核算这块，咱们引进Kylin，对于多维的查询95%以上查询能操控在2s以内。

渠道办理方面，需求对流程、权限、配额、晋级、版别、机器要有很全部的办理渠道。

那么安全战略只要在NameNode的两个点做下操控既可完结：在衔接解析后，咱们会验证恳求方的IP，以及用户是不是在合法装备下面的。假如验证失利，则拒绝恳求。假如验证经过，咱们会进一步在恳求处理进程中验证用户拜访的目录和用户在否在合法的装备下。

接入层，包含了Canal/Sqoop（首要处理数据库数据接入疑问）、还有许多的数据选用Flume处理计划；

不知道咱们有没有在自个运营集群进程中遇到过一些疑问，你们是怎样处理的，有些疑问也许适当的扎手。突发疑问是十分紧迫并且首要的，需求在短时刻内搞定。接下来我会同享三个比方。

（图一十五）

【爆料】雷军表示在4月发布发，小米6真机谍照再曝光

这是Flume的典型架构。Local需求在装备文件里边指定死要连到哪几个Center上。假如说10台，也许还OK，100台也OK，假如一千台呢？假如发现两台Flume Center现已到达机器资本的上限，怎样做紧迫的扩容呢？所以从这个视点看Flume的拓展性是有疑问的。

为啥会呈现这个状况呢？在后续剖析的进程中咱们发现了一个头绪，在NameNode日志里报了一个空指针的反常。就顺藤摸瓜发现了一个JDK1.7的BUG，拜见上面图像所示，在java select库函数调度途径进程中终究会调用这个函数（setUpdateEvents），咱们能够看到，假如fd的个数超越了MAX_UPDATE_ARRAY_SIZE（65535）这个数的话，将会走到else途径，这个途径在if进行不等表达式判别时，将会动身空指针反常。

第二个方面我要点的介绍了58在一年半的时刻内的技能改善。榜首点是对于安稳性，首要从Flume和HDFS拓展性方面要点介绍了咱们的处理计划，举了三个事例来阐明突发疑问，不是说有了可用性和拓展性就万事OK了，还要处理突发疑问。对于渠道办理首要介绍了一下数据和资本的办理办法，接着又介绍了对于易用性方面的改善，咱们供给了一系列渠道来进步开发人员的开发功率。

（图一十六）

首款弯曲CPU诞生了？小米出了暴力机器人？一加转行做酸奶？

（图一十七）

雷军确认小米 6 本月发布，1999 元起还是得靠抢？

异构核算

异构核算方面咱们面对了两个首要疑问，一个是工作的异构，咱们有多种类型的工作，比方说实时工作强调低时延，而离线工作强调高吞吐，这自身即是对立的，怎样处理这个对立。第二方面是机器异构，CPU、内存、网络、磁盘装备不相同，这种异构环境又要怎样办。

第三点咱们对于Shuffle期间参数优化，能够完成并发度进步，IO耗费下降。

当查到数据表的时分能够在右侧按钮，将显现出表构造，还有表信息，表信息表明晰这个表有多少列，这个表的负责人是啥，还有对于数据质量，表的数据量的改变状况等等，假如你想恳求能够点击最右边的权限注册。全体注册流程也是主动化的。这是对于数据找不到的疑问做的一些改善。

第二个事例也是相同，Active NN又呈现反常退出，发生HA切换。这次和网络衔接数有关，这张图是Active NameNode的地点机器的网络衔接数，平常都挺正常，20000到30000之间，遽然有一个点一下打到60000多，然后就打平了，终究降下来，降下来的因素很明显，是效劳进程退了。

这张图是完成图。首要能够看到NodeManager分红了两个调集，一个是实时的，一个是离线的，不相同的行列也被赋予了实时或离线的标签，当用户提交一个job的时分它能够指定一个行列，提交到离线行列里即是离线使命，ResourceManager就会把这个工作所需求的资本分配到离线标签的NodeManager上，这么就能够做到物理资本阻隔。

将来计划

以上首要是介绍了咱们近来一年半做的一些工作。接下来我会介绍一下将来的计划。首要即是深度学习。这个概念本年十分火爆，乃至是要爆破了，深度学习在58这块需求也是蛮激烈的。现在深度学习东西有这么多，caffe、theano、torch等等十分多，怎样做结合，怎样下降运用本钱，这是榜首个疑问。

咱们的计划也许不算大，跟BAT比起来有些小，可是也过了一千台，现在有1200台的机器。咱们的数据计划现在有27PB，天天增量有50TB。工作计划天天大约有80000个job，中心job（发生公司中心方针的job）有20000个，天天80000个job要处理数据量是2.5PB。

技能渠道技能演进与完成

接下来我会要点介绍一下在近来一年半时刻内咱们大数据渠道的技能演进进程，共分四个有些：安稳性、渠道办理、功用以及异构核算。榜首个有些对于安稳性的改善，安稳性是最根底的工作，咱们做了比照多的工作。第二个有些是在渠道办理方面的内容。第三个方面咱们对于功用也做了一些优化。第四个方面，咱们对于异构环境，比方说机器的异构、工作的异构，在这种环境下怎样合理地运用资本。

安稳性改善

首要看一下安稳性的改善。这块我会举一些比方进行阐明。安稳性包含了几个方面，其间榜首个方面即是体系的可用性，咱们能够选用社区供给的HDFS  HA、Yarn  HA，Storm  HA来处理。别的一个方面是对于拓展性，例如Flume、HDFS，Yarn，Storm的拓展性。这儿首要介绍下Flume和HDFS的拓展性有关的一些思考。

（图一十八）

定了！雷军亲口确认小米6发布时间 都说1999我们却希望它涨价

对于从主节点之间交互的疑问，咱们能够进行拆分，操控一个NameNode办理的DateNode的数量，这么就能够防止主从节点交互开支过大的疑问。对于单有些数据过大的话能够对于有些内数据进行进一步细拆，就OK了。或许能够思考baidu之前供给的一个计划，即把目录树和inode信息进行笼统，然后分层办理和存储。当然咱们现在选用社区federation的计划。假如好好计划的话，也是能够到万台了。

比方说用户A想拜访用户B的数据，假如没在答应的状况下会把衔接关掉，经过简略的战略调整就能到达灵敏的数据的安全操控和数据同享的办法。接下来对于数据找不到的疑问，咱们开发了全公司层面的根底数据仓库以及对于全公司层面元数据办理渠道。

（图一十九）

iPhone九年进化史，你用过的有几代？

（图二十）

雷军确定小米6本月发布 1999元有戏 高通给出骁龙835六折优惠

别的咱们会做一个深度学习东西散布式的改造，是对于caffe，咱们用的是CaffeOnSpark，即把悉数散布式的计划做成模板供用户运用。首要发动多个POD，经过POD发动一个Spark集群，然后再提一个Spark job来做练习，终究在悉数练习完毕今后再把集群停掉。Tensorflow也是相同的，首要发动tensorflow集群，然后提交使命，使命练习完今后再把集群停掉。别的东西散布式化咱们也会采纳相似的思路处理。以上是对于深度学习这块咱们现在的一些工作。

（图二十一）

狂降！这些小米重磅产品全部半价：买买买

切换的进程中在规划上有很首要一点思考，不能一起有两个Active，所以要变成新Active NameNode，要把本来的Active NameNode中止掉。先会很友爱地中止，啥是友爱呢？即是发一个RPC，假如成功了即是友爱的，假如失利了，就会ssh曩昔，把本来active namenode进程kill掉，这即是Active NameNode反常退的因素。

对于离线途径，经过接入层的搜集和搜集，数据终究会落到HDFS上，然后经过Spark、MR批量核算引擎处理乃至是机器学习引擎的处理。其间大有些的数据要进入数据仓库中，在数据仓库这有些是要经过数据抽取、清洁、过滤、映射、兼并汇总，终究聚合建模等等几有些的处理，构成数据仓库的数据。然后经过HIVE、Kylin、SparkSQL这种接口将数据供给给各个事务体系或许咱们内部的数据商品，有一有些还会流向MySQL。以上是数据在大数据渠道上的活动状况。

对于资本疑问要防止大锅饭，必需求引进账号概念，资本依照账号预留与阻隔。咱们区分了不相同的配额，依据核算、事务需求去恳求配额，然后咱们调整配额。对于行列这块咱们区分多个行列，每个事务线有自个的行列，不相同事务线不能跨行列提交使命，每个行列区分出不相同资本，资本首要是对于事务线需求而定的。经过这些改善能够到达资本的阻隔以及适度的同享。

（图二十二）

能瘦身减肥、养颜补血的小米，你真的会吃吗？

其次，是对于空间资本运用率的。现在咱们有一千多台机器，存储是很大的本钱。之前也提到了，咱们是归于花钱的有些，所以压力十分大。那怎样节约本钱是一个很首要的疑问。除了传统紧缩以外，还能做啥？HDFS RAID是一个比照好的处理计划。

HDFS RAID选用是RC编码，相似RAID6，比方一个文件有m个块，依据m个块生成k个校验块，然后能确保k个块丢掉的状况下数据还能找回来，举个比方来说，比方文件2.5G巨细，256M一个块，能够分红10个块，依据RC算法再生成4个校验块，能够确保丢了4个块状况下，数据都能找回来。在这个比方中，3副本状况下，总共需求30个块，而选用HDFS RAID，仅需求14个块。但他们的牢靠性相同，空间占用状况却差了57%。

第三方面从功用上介绍了咱们这边做的优化工作以及优化的成果是怎样的；

第四方面介绍了在异构环境下怎样支撑不相同特征的工作进行合理调度。

终究我介绍了58深度学习渠道建造方面以及存储资本空间运用率优化方面的内容。以上即是我今天的悉数内容，期望对咱们有协助。