面向AI大模型的网络使能技术Network Enabling Technologies for ArtificialIntelligence Large Models目录摘要，一、AI大模型发展概述，(二)发展趋势二、网络使能大模型的需求和驱动力(一)未来6G网络的通算智融合趋势(二)网络使能大模型价值场景…三、网络使能大模型服务12(二)分布式训练服务14.29(四)端边云协同推理服务(五)模型优化服务.四、案例分析37生成式AI在语义通信系统中的应用..37五、未来展望…45七、主要贡献单位和编写人员….50摘要随着大模型和智能体(Artificial intelligence agent,Al agent)技术的发展，未来越来越多的工作将被基于大模型的智能体所取代。一方面，由于大模型对数据和算力的需求巨大，资源受限的终端将难以满足模型训练和推理的需求。另一方面，未来第六代移动通信(Six generation,.6G)网络存在大量低时延需求的价值场景，例如无人驾驶、虚拟和增强现实等，云端大模型难以满足这些场景用户的需求。因此，向无线网络寻求算力和数据的支撑将成为大模型时代的必然。本文介绍了大模型时代下网络使能人工智能(Artificial intelligence,Al)技术的需求和驱动力，详细阐述了未来6G网络能为大模型提供的A服务，包括数据感知、分布式训练、指令优化、端边云协同推理和模型优化等，通过案例分析说明了相关技术的实践应用，并总结了未来可能的研究方向和所需要面对的挑战。一、A!大模型发展概述(一)发展历程随着深度学习技术的应用范围不断拓展和人工智能的快速发展，在大数据、高算力和强算法等关键技术的共同推动下，以ChatGPT为代表的A!大模型大量涌现，提供了高度智能化的人机交互体验和极富创造力的内容生成能力，改变了人们的工作和生活方式，实现了A1技术从“量变”到“质变”的跨越。A!大模型是指拥有超大规模参数、超强计算资源的机器学习模型，能够处理海量数据，并完成各种复杂任务。A!大模型的发展可以追溯到20世纪50年代。此后，从卷积神经网络(CNN)到循环神经网络(RNN),再到Transformer架构，模型的性能不断提升。总的来说，A!大模型的发展历程主要可以分为四个阶段，如图1所示。主要依赖于简开始模仿人脑奠定了大模型进行海量数据学习训单的线性回归、进行大量数据预训练算法架ChatGPT逻辑回归等的标记和训练构的基础成为模型学习的内容GPT-1GPT-2GPT-3GPT-4CNNDecoder-onlyTransformer传统模型RNN模型T5BARTGLMFncoder-Decoder神经网络模型BERTDeBERTaALBERTEnceder-only1950-1980年1980-2017年2017-2018年2018年至今图1.A1大模型的发展历程传统模型(1950-1980)：在A!发展的早期，传统模型主要依赖于简单的线性回归、逻辑回归等方法。这些模型能够处理分类和回归等基本任务，但在处理复杂数据和任务时表现有限。神经网络模型(1980-2017)：1980年，卷积神经网络的雏形CNN诞生。2000年代初期，有学者开始研究神经网络模型，开始模仿人脑进行大量数据的标记和训练，并尝试解决简单的问题，如手写数字识别等。~Transformer模型(2017-2018)：2017年，Google颠覆性地提出了基于自注意力机制的Transformer架构，奠定了大模型预训练算法架构的基础。2018年，OpenAl和Google分别发布了GPT-1与BERT大模型，使得NLP领域的大模型性能得到了质的飞跃。P现代Al大模型(2018至今)：2022年，聊天机器人ChatGPT横空出世，迅速引爆互联网。此后发布的多模态预训练大模型GPT-4,再次引发了生成式A!的热潮。目前各类大模型正持续涌现，性能也在不断提升。(二)发展趋势1.多模态能力提升，应用场景范围扩大单模态模型通常只能处理一种类型的数据，例如文本、图像或声音，缺乏对复杂环境的全面理解。而具有多模态能力的A!模型能够同时处理多种类型的数据，例如将视觉和语言信息相结合，以实现更深层次的理解和交互，并在更广泛的场景中得到应用。2.模型轻量化部署，资源需求成本降低在A!技术快速发展的当下，智能手机等移动设备在人机交互、语音交流等功能方面的需求不断提升，将大模型轻量化部署到终端设备也正成为一个重要的研究方向和发展趋势。利用端侧A!可以更好地为用户提供个性化的服务和支持，帮助用户进行自我管理，实现更加智能和高效的设备互联。3.外部工具相结合，交互方式更加智能传统的小模型通常专注于特定的任务，缺乏与外部环境交互的能力。结合外部工具调用、记忆和规划功能的A!大模型，可以被视为智能代理(Agent),它们能够执行更加复杂的任务，如自主决策、规划和学习。这种模型的交互方式更加智能，能够根据用户的需求和偏好进行自我调整，提供更加个性化的服务。这些发展趋势不仅预示着A!技术的不断进步，也反映了用户对于更加智能、个性化服务的需求。随着研究的深入和技术的成熟，我们可以期待A!大模型在未来将在更多领域发挥关键作用，改善人们的生活和工作效率。二、网络使能大模型的需求和驱动力(一)未来6G网络的通算智融合趋势人工智能已成为新一轮产业升级的核心驱动力，各行业的自动化、数字化、智能化需要泛在智能，许多高价值的A!场景，例如A!手机、自动驾驶、智能制造、移动机器人等，具有移动性、实时性、边端协同、隐私性等要求，需要网络这一A!服务基础设施进行支持。而随着大模型技术在上述场景中的深入应用，终端对于网络侧算力和数据资源支撑的需求将进一步扩大。ITU将6G场景扩展到包括通信与A1融合在内的智慧泛在，需要将AI打造成6G通信网络的新能力和新服务，实现Al即服务(Al as a service,AlaaS)。这要求6G网络能够随时随地提供A!服务、支持低时延的推理和训练服务、支持移动式AI、保障AI服务质量、提供安全隐私保护。(二)网络使能大模型价值场景在当今科技快速发展的时代，手机大模型已成为各大厂商竞相研发的热点。各大手机厂商纷纷推出了自家的大模型，为用户带来更加智能化的体验。如表1所示，手机大模型的功能主要包括文字类和图像类。在文字类功能方面，用户可以享受到智能问答、文本创作、文本总结、通话摘要等便捷服务，这些功能的响应时延通常在1秒之内，让用户感受到即时的互动体验。而图像类功能包括文生图、图像消除、图片问答等，其中，文生图响应时间较长，一般在5秒以上。在模型部署方面，目前主要有端侧部署和云端部署两种方式。端侧部署的大模型参数量通常不超过10B,这种部署方式可以更好地保护用户隐私，同时降低对网络环境的依赖。而云端部署的大模型参数量可达100B以上，这种部署方式可以充分利用云端强大的计算资源，提供更加复杂和强大的功能，但需要较为稳定的网络环境支持。表1.各厂商大模型手机调研信息品牌大模型功能大模型性能参数量部署位置vivo[1]智能问答-智能问答首词响应1s1B/7B端侧-文本创作-文本总结首词响应ms级文本总结70B/130B/175B云端-逻辑推理智能问答智能问答首字响应0.2s7B端侧-通话摘要-512*512生图时长6s文本总结-图像消除70B/180B云端文生图·智慧成片暂无公布数据7B端侧一语查图·智能问答暂无公布数据暂无公布数据暂无公布数据图像消除/扩图苹果5)智能问答暂无公布数据暂无公布数据端侧-文本摘要-重要消息置顶云端文生图-图像消除跨应用操作基于上述分析，手机大模型主要分为终端推理和云端推理两类。因此，6G网络使能手机大模型也可以相应地分为使能终端推理和使能云端推理两类。终端推理场景6G网络赋场景1：算力使能场景2：数据使能场景3：算力和数据使能能场景大模型第1分0图2.6G网络赋能大模型终端推理场景如图2所示，6G网络使能终端推理可以包括算力使能、数据使能以及算力和数据使能3种场景。考虑到目前手机大模型中文生图的时延较长的痛点，价值场景1是6G网络通过算力卸载的方式，将终端算力全部或部分卸载到6G网络内，通过对通信资源和算力资源的协同调度，可以降低响应时延，并降低终端推理功耗。而价值场景2则是6G网络通过例如感知获得价值数据，并将该价值数据作为终端推理的辅助信息，以提升推理精度。至于价值场景3，则是网络同时提供算力和数据服务，从而可以降低终端推理的响应时延和功耗，并提升推理准确度。云端推理场景6G网络赋场景1：算力使能场景2：数据使能场景3：算力和数据使能能场景图3.6G网络赋能大模型云端推理场景如图3所示，6G网络使能云端推理也可以包括算力使能、数据使能以及算力和数据使能3种场景。在价值场景1中，6G网络通过算力御载的方式，将云端算力全部或部分卸载到6G网络内，通过对通信资源和算力资源的协同调度，并通过更短的传输路径，可以显著降低响应时延，提升用户体验。而价值场景2则是6G网络通过例如感知获得价值数据，并将该价值数据作为云端推理的辅助信息，以提升推理精度。至于价值场景3，则是网络同时提供算力和数据服务，可以同时降低云端推理时延，并提升云端推理精度，为用户带来更加高效和智能的服务体验。2.自动驾驶自动驾驶车辆通过传感器（如摄像头、雷达、山DAR)采集到大量感知周围环境数据，需实时处理和分析、进行路径规划和驾驶决策。将连接的车云系统扩展到分布式网络节点/基站环境中，使数据和应用程序可以更靠近车辆，提供快速的道路侧相关功能。终端设备采集传感器数据，进行初步处理和特征提取。在车辆附近的分布式边缘节点进行实时数据处理，如环境感知和初步路径规划，利用6G网络的低延迟特性，快速传播危险警告和延迟敏感信息，确保实时响应。在中央网络节点/云端进行大规模模型训练和全局优化，利用大数据提升模型的准确性和鲁棒性。根据车辆位置和网络状况，可动态调整分布式网络各节点计算资源，确保高效运行。3.智能医疗可实时监测患者的健康的医疗设备和穿戴设备收集大量患者体征数据，通过医疗大模型训练和推理，进行疾病预测和诊断。穿戴设备和医疗传感器采集生理数据，进行初步处理和传输。通过分布在医疗机构的边缘节点进行实时数据分析和初步诊断，减轻中央网络节点负担。中央网络节点进行复杂的医疗数据分析和模型训练，支持远程诊断和治疗方案的优化，通过高可靠性和低延迟的通信网络赋能医疗数据的实时传输和处理。除了实时传输能力和边缘节点部署能力，6G网络还提供了高可靠和加密的数据隐私保护机制，保障患者的数据隐私和安全。4.工业4.0工业4.0要求智能工厂通过物联网设备进行设备监控、生产管理和质量控制，需要高精度、低延迟的数据传输和处理。工业传感器和设备采集生产数据，进行初步处理和传输。工厂内部的分布式网络节点部署计算，提供本地化的生产监控和实时优化能力，进行设备监控和故障预测。在中央网络节点进行大规模数据分析和模型训练，提升生产效率和产品质量。大带宽和低延迟的6G网络确保了生产数据在传感器、边缘网络节点及中央网络节点之间的实时传输和处理，高可靠性网络连接保障了生产过程的连续性和稳定性。5.工业元宇宙工业元宇宙打造与现实工业映射和交互的全数字化虚拟世界，构建工业全生命周期的虚实共生、相互操作及高效闭环的工业体系新范式，推动传统行业数字化智能化转型，是新质生产力的数字底座。在工业元宇宙中，虚拟世界与物理世界的深度融合是实现其全部潜力的关键。虚拟世界不仅要能够感知和接收来自物理世界的数据，还需要能够理解这些数据背后的意图，并据此做出合理的决策和控制。这一过程中，大模型显著提升了工业元宇宙的智能化和自主化水平。虚拟世界对物理世界的理解是工业元宇宙虚实交互的核心任务之一。工业元宇宙需要处理海量的数据，包括物联网设备传感器的数据、生产线监控信息、供应链的实时动态等。通过传统的规则模板解析、机器学习算法和深度学习算法，虚拟系统可以分析物理设备的数据并做出响应。然而，这些方法通常需要大量的规则和参数配置，灵活性较差。大模型的引入，尤其是基于大模型的生成式人工智能，使得意图识别和理解更加灵活和高效。大模型通过自然语言处理和深度学习技术，能够高效地解析、分析和处理这些数据。通过对海量文本、图像和其他数据的训练，能够在没有明确规则的情况下识别出复杂场景中的意图，将其转化为可执行的操作指令或预测性分析结果。例如，在一个智能工厂中，生产设备通过传感器反馈数据，虚拟系统不仅能够监测设备运行状态，还可以理解操作员的工作意图，从而调整生产部署等。大模型在虚拟世界的构建过程中起到了加速器的作用。工业元宇宙的构建不仅仅依赖于物理世界的数据输入，还需要大量的虚拟内容生成，诸如虚拟场景、产品设计、生产流程模拟等。文本、音频、视频等不同类型的数据可以被自动生成，这极大地提升了虚拟世界的丰富性和细节表现。在产品设计过程中，大模型使能的设计软件可以生成大量的设计方案和模型，大幅缩短了产品设计周期，同时提高了创新性。不仅加速了产品的迭代，还能推动工业设计从传统的线性流程向智能化、迭代式的流程转变。虚拟现实(VR)和增强现实(AR)技术是工业元宇宙的重要组成部分，而构建真实感强、细节丰富的虚拟场景往往需要大量的人工干预和资源投入。通过大模型和AIGC技术，虚拟场景的生成可以更加自动化、智能化，极大提升了开发效率。在一个虚拟工厂中，AGC可以基于物理工厂的布局自动生成相应的三维模型，并根据实时数据动态调整场景的布局和功能。这种虚实交互和自动化生成能力，提升了虚拟世界的沉浸感，使得企业能够更灵活地进行生产规划和调整。决策和控制是工业元宇宙的核心之一，大模型的自主学习和决策能力提升了工业元宇宙的智能化水平。在工业生产过程中，生产环境和工艺流程通常非常复杂，需要根据实时数据动态调整。大模型可以基于大规模的数据训练，学习到各种复杂场景下的最优策略，并通过持续学习不断优化，使得工业元宇宙中的虚拟系统与物理世界紧密互动，优化资源分配，最终实现更高效工业部署和生产。单一的大模型往往难以全面覆盖所有工业元宇宙场景需求，需要A!大模型与小模型融合，形成更全面的智能工业元宇宙系统。视觉引擎、语音引擎和机器人控制引擎等不同领域的A!小模型可以与大模型协同工作，补充其在特定任务中的不足，形成一个多功能的、全覆盖的A!使能的工业元宇宙系统，适应更加复杂多变的工业环境。三、网络使能大模型服务表2给出了网络使能大模型服务和一般A!模型服务的对比，可以看出6G网络使能的大模型服务在实时性、动态调整和高可靠性方面的显著优势，能够更好地满足不同应用场景的需求，提高系统的整体性能和用户体验。表2.网络使能大模型服务和一般A1模型服务的对比对比项网络使能大棋型服务处理的数据量更大，有更高的带数据传输量相对较小，带宽需带宽宽需求：求较低需求具有超低延迟的应用需求，在自多数场景对实时性的要求较实时性动驾驶、实时视频处理等场景中，低，相对较高的延迟容忍性低延迟是关键大带宽提供更大传输带宽现有资源带宽难以提升利用6G网络的高带宽和低延迟，主要依赖固定网络基础设施，低延迟实现数据的实时传输和处理，支数据传输和处理的实时性较低持实时分析和决策利用智能调度系统，动态调整计计算资源分配相对固定，难以能力动态调度算资源和任务分配动态调整和优化广泛使用分布式数据并行和模型通常在单个计算节点上完成训分布训练并行技术练和推理充分利用边缘计算能力，提高实边缘计算支持较少，主要依赖边缘计算时性和响应速度，减轻云端压力云端进行数据处理和模型训练(一)数据感知服务在未来的6G网络时代，一个引人注目的趋势是网络中将会部署大量的传感设备。这些传感设备以其高灵敏度、高精度和高覆盖率的特点，将实现对物理世界的全面感知和实时监测。无论是环境参数的测量、人体健康指标的监测，还是物体位置和运动状态的追踪，传感设备都能提供详尽而准确的数据。与此同时，随着人工智能技术的飞速发展，大型模型在各个领域的应用越来越广泛。然而，这些大模型的训练和推断过程都需要大量的数据作为支撑。数据是模型学习的基石，是提升模型性能的关键。在6G网络中，传感设备所收集的数据正好能够满足这一需求。在模型推断阶段，传感数据可以作为输入信息，增强大模型的推理精度。由于传感设备能够实时获取和传输数据，模型可以基于最新的数据进行推断，从而更准确地反映实际情况。这不仅提高了模型的实用性，还增强了其应对复杂和多变环境的能力。而在模型训练阶段，传感数据同样具有不可替代的价值。通过将传感数据作为训练数据的一部分，可以丰富模型的训练样本，提高模型的泛化能力。同时，利用传感数据进行数据增强，还可以进一步提升模型的训练效果，使其在各种应用场景中都能表现出色。因此，未来6G网络中的传感设备将成为大型模型训练和推断的重要数据源，为人工智能技术的发展提供强有力的支持。(二)分布式训练服务1.分布式机器学习理论随着“大数据”概念的兴起，数据量爆炸式增长，数据和算法双驱动的模型逐渐受到工业界和企业界的重视。大数据的特征可以概括为大数据量、多类型、低价值密度和数据在线。其中，大数据量指的是数据集的规模非常庞大，通常达到TB甚至PB级别，这种规模的数据量远超传统数据处理工具和单机系统的处理能力，同时如此规模的数据不仅自身数据量庞大，并且存在大量非结构化数据（如图片、视频)，需要复杂的数据处理和整合方法。数据在线是指数据实时更新和变化，大规模数据自身数据量庞大的同时自身数据增长的速度也非常快，存在大量衍生数据，需要实时的监测、分析和处理。大数据量和数据在线是使得传统机器学习不能适应当前环境的主要因素。传统机器学习即在单机内进行数据处理和计算，注重在单机内处理数据的速度，由于内存和单机算力的限制，大数据条件下庞大的数据存储和计算是无法在单机中做到的，因此，将计算模型分布式地部署到多台、多类型的机器上进行同时计算是一种必要的发展趋势。基于以上原因，提出了分布式机器学习的概念。分布式机器学习研究将具有大规模数据量和计算量的任务分布式地部署到多台机器上，其核心思想是“分而治之”，即将数据集或是计算任务分解成多个小数据集或计算任务，分配到不同的计算节点上处理，有效提高了大规模数据计算的速度并节省了开销。分布式机器学习在概念的提出时就展现了独特的优势，包括针对大数据量问题的处理海量数据和针对数据在线问题的实时数据处理。在其发展和成熟的过程中，在其他的一些方面也展现了优势，首先，分布式架构支持动态扩展计算资源，可以根据具体的计算需求的变化灵活地调整计算节点的数量和计算任务的分配，切薄系统的高效运行。其次，分布式系统的架构就保证了整个系统具有较强的鲁棒性，能够在某个节点发生故障时自动进行任务再分配，避免了计算过程的前功尽弃，保证了计算过程的稳定性和连续性。最后，分布式系统联合了大量低成本的硬件资源和计算资源去解决复杂的梯度计算，显著降低了能源和资源成本。分布式机器学习分为面向扩展性的分布式机器学习和面向隐私保护的分布式机器学习，这种分类主要是针对传统机器学习的不同限制因素进行改进。1)面向扩展性的分布式机器学习在近年的研究中，训练的数据规模和模型参数规模以指数形式增长，以卷积神经网络为代表的神经网络使用大量训练数据训练一个参数为千万量级甚至上亿的模型，所使用的计算资源和所消耗的时间成本不是单机所能够做到的。面向扩展性的分布式机器学习是这种情况的一个可行的解决方案，它专注于将机器学习的算法扩展到多个计算单元（如GPU),尝试将无论是廉价但低效的计算资源或是高昂但高效的计算资源纳入自身体系中，通过并行和分布式计算来处理大规模的数据集和复杂的模型。面向扩展性的分布式机器学习主要通过数据并行、模型并行或是混合并行的策略实现它的处理任务，不同策略的使用则是基于不同的任务，有着各自的优势和缺陷，下面将一一介绍。在分布式机器学习技术乃至大数据技术中，数据并行都是最为常见的一种并行方式。在数据并行的策略中，数据集被分割成若干个子数据集，并加载在若干个训练设备中（如GPU)。因此，数据并行主要需要实现数据集分割以及训练后的模型参数同步两个部分的设计，其中后者是设计时关注的关键问题。数据并行是一种实现简单，扩展性好，且对于绝大多数深度学习任务都适用的可以应用于分布式机器学习的策略。然而，数据并行的通信成本很大，对于中心节点（参数