AI对算力的需求分析和预测

　9月28日，为期3天的2020全国高性能计算学术年会（HPCChina2020）在郑州举行。中国工程院副院长、中国工程院院士陈左宁进行了题为《人工智能进展对算力需求分析》的报告。陈左宁提出人工智能模型和算法的7大发展趋势，并对AI趋势对算力的需求进行分析和预测：

 

　　1.向无监督的方向发展

 

 

　　人工智能需要适应“小数据”、减少标注需求、减少计算开销。现在用的比较多的是主动学习，即算法主动提出标注请求，将一些经过筛选的数据提交给专家标注。迁移学习即增强训练好的模型，解决目标领域中仅有少量有标签样本数据的问题。强化学习即用agents构成系统来描述行为并给予评价和反馈学习。从主动学习到迁移学习再到强化学习，需要的能力也由“人机交互能力、数据整合能力”到“大算力预训练、数据处理能力”再到“信息采集能力、概率计算能力”不断演化。

 

　　2.可解释（XAI）越来越重要

 

　　首先，深度学习进一步设计算法和参数，提高泛化能力，需要模型算法可解释。对抗样本如果导致模型失效，那训练数据将不合理地被局部放大。另外，模型愈复杂，越容易失去可调式性和透明性。人工智能模型有透明模型和事后可解释模式，无论是哪一个模型，他们都有对算力的需求，具体需求是需要我们将可解释技术融入软件环境中，为现有软件框架增加可解释技术接口；第二个需求是将人-AI系统结合。以人为中心，把人对事情的解释跟整个模型融合在一起。

 

　　3.人工智能模型的自学习、自演化

 

　　从自动机器学习（AutoML）到限制约束条件的AutoML再到不设初始条件，搜索空间极大丰富的自演化AutoML，人工智能模型的自学习、自演化需要我们提供计算框架支撑、大算力支撑、辅助设备支撑。

 

　　4.多种算法、模型的有机组合

 

　　这个趋势目前已经非常明显了，目前单一的算法或模型难以解决实际问题，经过分析，我们可以把多种模型有机结合起来，另外，人工智能模型的发展希望融入多种技术来解决已有问题。当然，人工智能的应用流程越来越复杂，所以，不同流程所涉及的环境也多样化，这就需要不同的算法和模型的组合，需要计算存储等可扩展能力和基础软件能力提升，支持复杂模型。

 

　　5.人工智能应用需要关注生命周期

 

　　从设计到数据预处理，建立、训练、优化模型，部署、推理，保持和更新，数据积累，准备，训练，得到推理结果等这些全周期不同任务具有不同的事件、空间和计算需求，全生命周期都要考虑可解释、公平性需求。

 

　　6.分布式、分散式的需求越来越突出

 

　　首先，大型、复杂模型，海量数据需要并行、分布式计算；第二，联邦学习等分散场景需要分布式ML原生算法。因此这就需要大算力、原生支持分散场景，而并行的、分散的人工智能模型算法本身的需求越来越突出。

 

　　7.深度推理

 

　　清华大学唐杰老师认为，从计算、感知、认知到意识，对算力的需求，从最初的计算存储、输入输出，到语音图像等识别，再到认知推理、自学习、顿悟等，反映出对计算需求的演进。如何应对多种形式的不确定性是目前的一大难题。比如从环境中感知的信息、知识的情景特异性、缺乏完全解释自然现象的完整理论、计算的有限合理性等。我们可以从以下三个方面有效应对多种形式的不确定性，如概率计算，类脑、仿脑体系结构、模拟计算。

 

　　总结下来，人工智能对算力的需求有如下特点：关系和概率计算更加突出，同时不要求高精度、不要求高容错；并且在节点上简单了，此外，人在环路中的需求非常明显。这些特点可能随着人工智能的发展不断突破。