CAICT中国信通院蓝皮书No.202415人工智能治理蓝皮书(2024年)中国信息通信研究院2024年12月版权声明本蓝皮书版权属于中国信息通信研究院，并受法律保护转载、摘编或利用其它方式使用本蓝皮书文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。更名声明原“集智”白皮书更名为“集智”蓝皮书。“集智”蓝皮书将继续秉承原有的编撰理念和高质量标准，致力于提供有价值的信息和洞见。前言人工智能治理是各方为解决人工智能领域风险分担和利益分配问题，通过政策制定、法律监管、伦理指导等手段，对人工智能的研发、应用等行为进行全面管理和调控的过程。人工智能治理应为人工智能领域发展和安全问题建立有效的风险矫正机制、利益分配机制及机构协调机制，积极应对发展不平衡、规则不健全、秩序不合理问题并促进全球协商合作。近一年来，全球人工智能治理面临复杂多变新形势。全球人工智能行业实现高速增长，在产业规模、投融资、企业数量等方面表现明显，具身智能、数字人等人工智能应用将驱动下一轮产业洗牌。通用人工智能技术飞速跃迁敲响安全警钟，幻觉难消除、场景难限定、责任难追溯等特性放大了虚假信息、隐私侵犯、网络犯罪等现实风险。同时，全新的人机交互模式开启了“人类外脑”时代，在未来发展中可能引发情感依赖、劳动替代、生存性风险等方面的人机伦理风险，不断挑战政府传统监管模式、加剧国际合作协调难度、考验供应链主体自治能力。本报告从新技术革命引发的经济社会发展变革和历史经验出发，在“以人为本、智能向善”理念指引下，基于供应链条、价值链条、全生命周期链条等底层逻辑，从What、Why、Who、How四个维度搭建了人工智能治理体系框架。在梳理人工智能概念分歧、人工智能风险谱系基础上，框架从安全和发展两个维度提出四组议题。安全侧来看，安全可控是人工智能治理的底线基础，强调基于风险的全生命周期治理思路，亟需对透明度、红队测试、评估评测等工具细化落地；伦理先行是人工智能治理的价值导向，需提前研判人工智能对人类生活、生产乃至生存问题带来的冲击，强调敏捷治理、动态监测。发展侧来看，负责任创新是人工智能治理的源头根本，存在算力供给不平衡、高质量数据集建设、开源模型生态治理等问题，提出基于产业链的“要素+场景”治理；可持续发展是人工智能治理的终极要求，提出公平普惠的包容性治理，围绕经济、社会和环境三个维度，协力应对数字鸿沟、能源短缺等问题，推动联合国2030年可持续发展目标实现。从落地实践来看，主要经济体人工智能治理模式初具雏形，在监管模式、治理重点、实践策略等方面日益成熟完善。企业主体、专业机构、产业联盟等主体积极实践，在安全技术研发、资源共享等方面发挥关键作用。大国间围绕人工智能安全合作共识初建，各方在议程设置、规则塑造等多方面进程提速，联合国系统积极酝酿新的人工智能治理协调机制，各双多边机制推动高层次承诺向可执行政策落地。展望未来，人类社会将迈向更深层次的智能化发展阶段，需要系统谋划、综合施策，在伦理监测、制度设计、监管模式、国际合作等方面持续改革创新。中国信息通信研究院持续跟踪评估人工智能治理焦点议题和趋势进展，尝试提出人工智能治理的体系框架，期待为推进各方交流讨论、促进合作共赢贡献绵薄之力。目录人工智能治理面临复杂多变新形势(一)人工智能行业高速增长，商业生态分化形态初现(二)人工智能技术深刻变革，挑战政府传统监管能力(三)国际合作取得关键成果，各国治理共识差异并存(四)人工智能技术风险加剧，亟需搭建完善治理框架6二、人工智能治理的核心议题进展及趋势…--===12(一)基于产业链的治理：全要素推进负责任创新12(二)确保技术普惠共享：多维度促进可持续发展16(三)制度技术治理并进：全生命周期确保安全可控19(四)人机关系如何重塑：新型风险中推动伦理先行三、多元主体协同推进人工智能治理进程33(一)主要经济体政府监管模式各异，规则落地取得实质进展33(二)企业和专业机构等主体创新探索，形成协同共治生态圈39(三)国际人工智能治理日益深化，三大维度热点持续深化..43四、人工智能治理对策建议48(一)深化落地人工智能协同敏捷治理模式48(二)系统监测预警人工智能伦理社会影响49(三)围绕要素和场景细化负责任创新方案49(四)立足于全生命周期优化安全技术工具.50(五)加速落地全球人工智能能力建设方案.51图目录图1全球人工智能产业规模图22019-2024Q3AI领域融资占全行业比例图3新晋AI独角兽数量及占比图42019-2024年中区域间和区域性人工智能治理举措及关键成果图5人工智能风险视图图6人工智能治理框架图117AI Safety Benchmark Q2.24图8不同岗位、受教育程度受AI影响大小30图9中国人工智能行业自治图谱43表目录表1本报告所参考的人工智能治理框架素材表2我国人工智能相关的主要制度文件….36CAICT人工智能治理蓝皮书(224年)一、人工智能治理面临复杂多变新形势人工智能技术颠覆性、跨越式突破引发通用人工智能新一轮发展热潮，推动全球人工智能治理进入规则构建的关键阶段。人工智能领域发展不平衡、规则不健全、秩序不合理等问题日益显现，全球人工智能治理面临前所未有的挑战。(一)人工智能行业高速增长，商业生态分化形态初现大模型等新技术带动全球人工智能行业实现高速增长。从产业规模来看，受人工智能存储、服务器等基础设施市场拉动，2024年全球人工智能产业收入高速增长。据DC预测，2024年全球人工智能产业收入规模达6421.8亿美元，同比增长22.2%。从企业财务表现看，人工智能技术研发和应用落地有效推动了巨头企业营收增加，微软、谷歌、亚马逊营收增速均超10%，AI云服务、AI助手及AI广告投放在其中发挥关键作用。全球A产业收入规模及增速12000222%100002%8000221%600020%20%400019.1200019%18%018%20232024202520262027来源：根据IDC数据整理图1全球人工智能产业规模-亿美元IDC Asia/Pacific AI Maturity Study 2024.https://www.intel.in/content/dam/wwwcentral-libraries/us/en/documents/2024-04/idc-infobrief-asia-pacific-ai-maturity-study-2024-india.pdf人工智能治理蓝皮书(224年)从投融资来看，2022-2024年前三季度，全球投资持续低迷，融资金额持续下降，相比较而言，人工智能领域融资复苏，全球AI融资占全行业融资比例持续上升，从2022年的6.1%上升至2024年前三季度的12.0%。人工智能领域巨额融资金额大幅上升。2024年前三季度，全球巨额融资金额为265.6亿美元，同比上升148%，融资笔数为73笔，同比上升40%。大模型领域融资金额大幅上升。2024年前三季度全球大模型企业风险融资额为162亿美元，已约为2023年的两倍，投资笔数达165笔。2000012.0%14%18000融资金额1600012%1400010%120008%亿1000080006%6000元40002002%0201920202021202220232024Q1-Q3■其他行业■人工智能◆一A占全行业融资比例来源：根据CBInsights数据整理图22019-2024Q3AI领域全球融资占全行业融资比例从企业数量来看，截至2024年第三季度，全球人工智能企业数量为31206家，其中美国企业10840家，占全球总数的35%，中国企业4676家，占全球总数的15%。AI独角兽数量大幅增加，截至2024年第三季度，全球AI独角兽共255家。其中，2024年AI独角兽新增数量达30家，占所有新增独角兽企业数量的47.6%。AI独角兽的人工智能治理蓝皮书(224年)主要赋能领域为商业智能、AIGC及大模型、医疗等板块。260047.6%50%50039.5%40021.9%30017.3%16.0%20013.4%1000201920202021202220232024Q1-Q3新晋独角兽■新晋A独角兽◆一新晋A独角兽占比来源：中国信息通信研究院图3新晋AI独角兽数量及占比人工智能技术创新需求持续加大，产业链条拉长、商业生态分化等特征显现。自2022年11月ChatGPT发布以来，人工智能已被应用于金融、法律、设计等多个行业。人工智能产业链条从大多数情况下由单一企业完成，发展为在开发、调优、应用等不同环节，由不同企业合作完成。围绕生态主企业构建的商业生态开始出现分化，开源与闭源、通用与专用等不同路线均呈现竞争与融合并存态势。(二)人工智能技术深刻变革，挑战政府传统监管能力以大模型为代表的新一轮人工智能具有强生成、强推理、强交互等能力特征，技术深度变革为人工智能政府监管带来新挑战。一是体现为新内容生产方式，从“人和信息”的链接转向“人和答案”的链接，规模化提升生成效率，内容生成机制成为人类难以破解的黑箱。二是变革人机交互模式，从传统的复杂繁琐、多样化的交互接口转变2 AI 100:The most promising artificial intelligence startups of 2024-CB insights research.https://www.cbinsights.com/research/report/artificial-intelligence-top-startups-2024/3人工智能治理蓝皮书(224年)为统一便捷的自然语言接口。人工智能脱离工具角色，成为能自主完成工作流程的“人类外脑”。三是通用泛化水平急剧攀升，未来可能在产业发展中发挥基础设施和数字技术市场“看门人”作用，基础性、公共性、外溢性将显著增强。在此背景下，传统政府监管模式和工具面临重大挑战。一是事前风险审查缺乏统一标准，政府亟待优化评估审查工具。斯坦福大学《2024年人工智能指数报告》3指出，人工智能严重缺乏标准化评估，OpenAI、谷歌和Anthropic等企业根据不同的负责任人工智能基准测试他们的模型，导致难以对头部人工智能模型的风险和局限性进行比较。二是事中介入机制缺乏实践经验，政府亟需提升常态化监测水平。各主要国家未就事中监测和介入手段积累有效经验，对人工智能的事中监管尚处初期阶段。三是事后调查溯源取证困难，政府尚缺乏有力的核查核验工具。监管部门难以核查企业真实合规情况，在生成式人工智能版权纠纷、内容安全等问题上取证困难，尚缺乏成熟完备的技术溯源措施。(三)国际合作取得关键成果，各国治理共识差异并存近一年来，主要经济体在联合国、二十国集团、经合组织、国际电联、金砖国家等多双边机制中围绕全球人工智能治理开展对话协商，取得了部分关键成果，如联合国《抓住安全、可靠和值得信赖的人工智能系统带来的机遇，促进可持续发展》《加强人工智能能力建设国际合作决议》、七国集团《广岛进程指导原则》等。然而，全球各方因政治制度、法律体系和文化传统的不同，对人工智能治理模式和需AI index report.Stanford Institute for Human-Centered Artificial Intelligence.https://hai.stanford.edu/research/ai-index-report人工智能治理蓝皮书(224年)求有着不同认识，人工智能安全和发展张力加大，进一步增加了共识凝聚的难度，削弱了国际协调合作的动力。20202021202221■1■210性成果2024年1月至6引来源：HLAB-AI《治理人工智能，助力造福人类》终期报告图42019-2024年6月区域间和区域性人工智能治理举措及关键成果在治理需求方面，人工智能安全可控和发展优先路线并存。一方面，国际社会普遍关注人工智能风险问题，将“安全、可靠和值得信赖”理念纳入多部共识文件；同时探索通过英国、韩国、法国系列人工智能峰会，推进全球安全研究网络和评估评测合作。另一方面，各国对技术发展不平衡带来的“智能鸿沟”问题表示忧虑。例如G20主席国巴西将“人工智能资产和基础设施分布不均”作为优先议题。4东盟发布《东盟人工智能治理与伦理指南》，阐述东盟“发展优先”的治理观，提出支持人工智能人才培养、人工智能创新等国家级建议。在治理机制方面，多边机制和多利益攸关方均发挥重要作用。部分国家认为政府对人工智能等新技术知识认识不足，应推动发挥企业、第4《2024年二十国集团数字经济部长会议在巴西马塞约召开》，载人民邮电报，人工智能治理蓝皮书(224年)三方机构等多利益攸关方作用。发展中国家则普遍面临基础能力不足等挑战，希望通过多边机制参与全球人工智能治理。人工智能治理评估指数(AGLE指数)报告5显示，发展中国家在技术、资金和人才方面的不足，限制了它们在人工智能国际治理中的参与度和影响力。总体来看，世界经济、技术不稳定风险仍存，各方需高度认识人工智能技术带来的巨大挑战。(四)人工智能技术风险加剧，亟需搭建完善治理框架1.人工智能风险的系统认识人工智能风险可划分为内生风险和衍生风险。内生风险主要指人工智能系统自身所存在的风险，包括数据、框架、模型等自身安全带来的风险问题。比如模型存在缺陷、后门被攻击利用的风险，具体指人工智能算法模型设计、训练和验证的标准接口、特性库和工具包，以及开发界面和执行平台可能存在逻辑缺陷、漏洞等脆弱点，还可能被恶意植入后门，存在被触发和攻击利用的风险。再比如人工智能的生成“幻觉(Hallucination)”问题导致生成内容不可信风险。生成幻觉通常指模型按照流畅正确的语法规则产生的包含虚假信息甚至无意义内容的文本。OpenAI公司前首席技术官Mira Murati指出，底层大型语言模型的最大挑战是会编造错误的或不存在的事实。6衍生风险包括个人、社会、国家和全人类等多个层面。个人层面5《全球人工智能治理评估指数(AGLE指数)正式发布，首次评估解码全球人工智能治理新格局》，载深圳市人工智能产业协会官网，https:www.zaicx.com/page142?article_id=14220.Radulovski,A.(2024,January 4).Unveiling 7 interesting facts about Mira Murati,OpenAI's chatgpt creator andTrailblazer in Tech.Women in Tech Network.https://www.womentech.net/en-us/blog/unveiling-7-interesting-facts-about-mira-murati-openais-chatgpt-creator-and-trailblazer-in.6人工智能治理蓝皮书(224年)包括对个人隐私、自主性等人格尊严带来的挑战。2024年10月，美国美国佛罗里达州奥兰多地方法院受理“全球首例AI机器人致死案”，l4岁少年的母亲梅根加西亚指控AI公司Character.ai存在管理疏忽，导致其聊天机器人产品诱导青少年开枪自杀。社会国家层面包括对就业、公共安全、国家安全等带来的风险。例如人工智能冲击就业市场，加剧财富分化与社会不公。据高盛研究报告分析，以美国为例，46%的行政工作和44%的法律工作将受到较高程度的影响。7人工智能可以被用于制作虚假文本、音频、视频等深度伪造内容，进而实施政治干预、煽动暴力和犯罪等破坏公共利益、侵害国家安全行为。全人类层面包括能源消耗、数字鸿沟、生存性风险等问题。例如，模型训练导致大量资源消耗，抬高碳排放水平。研究人员指出，GPT-3模型能耗相当于1287兆瓦时的电力，同时产生552吨二氧化碳。8近一年来，前沿人工智能引发的生存性风险受到关注，从英国主导的系列AI安全国际峰会以及OpenAI、.Anthropic、DeepMind等企业认识来看，化学、生物、放射和核（统称CBRN)滥用、自主复制等被认为是典型的生存性风险。Anthropic与顶级生物安全专家一起对其模型进行红队测试后，警告生物滥用风险可能在未来2-3年内成为现实。7Artificial Intelligence.Goldman Sachs.https://www.goldmansachs.com/insights/artificial-intelligenceStanford HAI.(2023).Artificial Intelligence Index Report 2023.p120.Retrieved fromhttps://aiindex.stanford.edu/report/.人工智能治理蓝皮书(224年)可控全人类可持续政治文化个人组织自身安全数据框架模型芯片算力网络应用服务技术系统来源：中国信息通信研究院图5人工智能风险视图2.人工智能治理的体系框架人工智能治理攸关全人类命运，具有典型的跨国界、跨学科、分散性、动态性等特征。联合国《全球数字契约》指出，人工智能具有积极和消极两方面颠覆性潜力，需要全球性和多学科的对话，以审视、评估和调整人工智能应用。近年来，全球部分国际组织、政府、企业、研究机构等均尝试从不同视角维度搭建人工智能治理体系框架。表1本报告所参考的人工智能治理框架素材序号框架名称发布机构发布时问类型联合国系统人工智能治理白皮联合国人书：分析联合国系统的制度模工智能机1式、功能和现有制度适用于人构间工作2024年5月国际组织工智能治理的国际规范框架组2G7广岛进程守则框架G72023年5月国际组织3人工智能系统的分类框架OECD2022年3月国际组织东盟关于人工智能治理与伦理4指引文件东盟2022年11国际组织月人工智能治理蓝皮书(224年)实施人工智能治理：从框架到2022年12区域性组实践欧委会月织6人工智能风险管理框架1.0美国NIST2023年1月科研院所新加坡AIVerify基金会与新生成式人工智能模型人工智能非营利组加坡信治理框架：促进可信赖的生态2024年5月织/政府系统息、通信及媒体发机构展管理局联合发布中国信息可信人工智能总体框架通信研究2021年7月科研院所院中国信息9人工智能风险管理体系通信研究2023年12院月科研院所中国信息面向产业的人工智能风险治理10实践框架通信研究2024年12月科研院所院11全周期人工智能治理框架Presidio2024年1月企业12全生命周期风险治理框架阿里巴巴2023年8月企业13前沿安全框架(1.0版本)DeepMind2023年7月企业14负责任的扩展政策Anthropic2023年4月企业15人工智能治理框架与实施路径清华大学2024年7月学术机构图尔库大学人工智16人工智能治理框架能治理和2022年6月学术机构审计组织(AIGA)17人工智能治理的分层模型哈佛大学2021年9月学术机构2020年1018非营利组卡内基人工智能国际治理框架卡内基月织来源：中国信息通信研究院从具体特点来看，现有治理框架分为以下几种类型：一是全面宏观的治理框架，对于推进国际合作具有重要意义，例如《联合国系统人工智能治理白皮书》所包含的风险类型和议题最为广泛，既有传统