定制报告-个性化定制-按需专项定制研究报告
行业报告、薪酬报告
联系:400-6363-638
《浙江大学:2025从大模型、智能体到复杂AI应用系统的构建——以产业大脑为例(61页).pdf》由会员分享,可在线阅读,更多相关《浙江大学:2025从大模型、智能体到复杂AI应用系统的构建——以产业大脑为例(61页).pdf(61页珍藏版)》请在薪酬报告网上搜索。
1、从大模型、智能体到复杂AI应用系统的构建以产业大脑为例肖俊肖俊浙江大学计算机学科与技术学院人工智能研究所浙江大学人工智能教育教学研究中心浙江大学计算机学科与技术学院人工智能研究所浙江大学人工智能教育教学研究中心2025.03 杭州杭州浙江大学DeepSeek系列专题线上公开课(第二季)提纲大模型推理能力快速提升大模型推理能力快速提升推理模型和思维链推理模型和思维链(CoT)智能体是什么?智能体是什么?四链融合产业大脑案例四链融合产业大脑案例大模型推理能力快速提升快速回望历史大模型的产生2022年GPT-1GPT-2GPT-3InstructGPTChatGPTT5BARTM2m-100BigB
2、irdBERTRoBERTaXLMALBERTELECTRAMachine Learning基于规则的少量数据处理1950年开始1980年开始1990年开始;2006年获得突破2017年2018年2019年2020年基于模板和规则的前深度学习阶段根据一定范围的数据进行参数分类开始模仿人脑进行大量数据的标记和训练对人脑学习过程进行重点关注进行海量数据学习训练,人类的反馈信息成为模型学习的内容ChatGPT所能实现的人类意图,来自于机器学习、神经网络以及Transformer模型的多种技术模型积累神经网络CNNRNN GANChatGPT经过多类技术积累,最终形成针对人类反馈信息学习的大规模预训练
3、语言模型Transformer里程碑:ChatGPT的成功OpenAI 公司于2022年11月发布ChatGPT,短短三个月内日活跃用户从零增长至超过 3000 万,标志着对话式 AI 进入大众应用阶段三阶段训练技术构建GPT 3.5ChatGPT 日活量(2022.11-2023.02)里程碑:ChatGPT的成功AI 1.0时代AI 2.0时代辨别式AI对现有内容进行分析、分类、判断、预测分类回归聚类图像分类客户分群文本分类信用评估新闻聚类广告定向社区发现客户流失预测专用人工智能一事一模型,每个模型完成特定智能任务解决特定的智能问题生成式AI 自动生成开放的文本、图像、音频、视频等内容文本
4、生成文章报告问答内容视频生成短视频片段广告视频语音生成语音与对话影视与广告代码生成样例代码测试用例图像生成人像写真广告图片多模态生成文生图文生视频相对通用的人工智能一个大模型解决多个问题自适应地应对复杂外界环境的挑战房价预测销量预测大模型能力不断增长大模型在知识问答、数学、编程等能力上达到新的高度,多种任务上的表现超过人类水平。大模型发展迅速,参数量从百亿到万亿规模10 Billion1000 BillionSource:https:/lifearchitect.ai/timeline/大模型能力涌现,多个任务上性能超越人类水平Multi-task Language Understanding
5、 on MMLUSource:https:/ LeCun的批判观点:对纯粹扩大规模方法的根本质疑Mehrdad Farajtabar:LLM本质上是统计模式匹配工具,而非真正的推理系统、下一个词预测框架不足以产生真正的理解Yann LeCun:自回归大型语言模型没有前途Apple提出LLM并非真正的推理系统横空出世:OpenAI o1/o3、DeepSeek-R1等2023-2024年,推理能力突破性进展:OpenAI o1/o3在数学和代码推理任务上的卓越表现开源大模型DeepSeek-R1在MATH基准上达到87.2%的准确率o1在数学和代码问题上的水平大幅提升,超越人类专家开源大模型De
6、epSeek R1匹敌OpenAI o1横空出世:OpenAI o1/o3、DeepSeek-R1等2023-2024年,推理能力突破性进展:OpenAI o1/o3在数学和代码推理任务上的卓越表现开源大模型DeepSeek-R1在MATH基准上达到87.2%的准确率DeepSeek的“aha moment”这种深度推理能力是如何实现的?是单纯的规模扩展结果,还是有其他关键因素?小结一:1.早期的大模型推理能力不足2.OpenAI-o系列模型和DeepSeek-R1等胜在推理能力较强推理模型和思维链(Chain of Thought,CoT)推理大模型的发展2024.112024.092025
7、.12025.22025.2QwQ 由通义千问开发,QwQ 能通过思考与疑问解决一些复杂的问题。OpenAI o1 是专注于复杂推理任务,通过深度思考和策略优化来解决问题。DeepSeek-R1与Kimi1.5都采用RL来进行推理能力的增强o3 通过模拟推理技术,能够暂停并反思自身内部的思考过程,从而在回答问题前进行更深入的推理,类似于人类的思考方式。Claude3.7是首个混合推理模型,集普通语言模型和推理模型于一体的混合模型。Gemini 2.0 Flash Thinking 经过训练后,可以生成模型在回答问题时经历的思考过程。推理大模型:通过测试时拓展(Test-Time Scaling
8、)、强化学习、蒸馏等技术,大模型的推理能力不断增强。OpenAI-o系列推理模型o1/o3 在回答问题之前先Reasoning,生成一个详细的内部思维链,模拟人类的深思熟虑,逐步分解复杂的问题,提高答案的准确性和深度。相较于GPT-4o o1大幅提升逐步思考,并分解复杂的问题什么是思维链(CoT)从浙大玉泉校区到紫金港校区如何最快出行?要知道从玉泉校区到紫金港校区如何最快出行,首先得知道有几种交通路线:1.89路公交车,共17站,需步行2分钟,共用时50分钟2.地铁10号线转2号线,这样就是2站+5站,共7站,需步行20分钟,共用时43分钟3.地铁3号线转7149路公交车,这样就是3站+11站
9、,共14站,需步行11分钟,共用时50分钟4.还可以这样综合看起来,最快的交通方案应该2,共用时43分钟地铁10号线黄龙体育中心站-文三路-学院路(转2号线)-古翠路-丰潭路-文新路-三坝-虾龙圩-步行什么是思维链(CoT)有些问题,人也很难快速写出思维链,比如:桌子上放着50 根火柴,丁丁、田田二人轮流每次取走13根。规定谁取走最后一根火柴谁输。如果双方采用最佳方法,丁丁先取,那么谁将获胜?依靠大模型自己生成思维链并求解DeepSeek-R1的推理过程求是小学组织去距离90公里的博物馆春游,全班同学8:00从学校坐大巴车出发。班主任老师因为有事情,8:10自己自驾小车以大巴车快1/3的速度追
10、赶,结果比大巴车提前20分钟到。问:(1)大巴和小车的速度各是多少?(2)班主任老师追上大巴的地点距离博物馆还有多远?首个将思维链显式展示的开源模型如何低成本实现推理模型?s1通过在一个精心构建的小规模数据集上(1000条数据)进行微调,并结合预算强制技术,实现了强大的推理能力和测试时计算扩展性如何低成本实现推理模型?LIMO假说:在预训练阶段已经充分编码领域知识的基础模型中,复杂的推理能力可以通过最少但精确编排的认知过程演示来涌现:模型具备丰富预训练知识 高质量的推理链示范LIMO通过817个训练样本(题目难度高,覆盖知识面广,解题步骤精细),模型就能在复杂的数学推理任务中取得有益的表现Le
11、ss Is More for Reasoning小结二:1.自动化思维链(CoT)的实现是新一代大模型的精髓之一2.经过精心设计的少量高质量样本即可实现适用于某个专业领域的高性能低成本推理模型智能体(AI Agent)是什么?灵魂发问 大模型除了可以和我聊天、回答问题,到底还能干什么?灵魂发问 ChatGPT的回答用大模型写邮件 如果你只有一个大模型,使用它回复邮件的过程大致如下:用户打开邮箱,手动拷贝邮件内容用户将邮件内容拷贝到大模型运行界面的对话框,写提示词:请基于以下邮件内容帮我草拟一封回复 大模型根据提示词自动生成回复邮件 用户将大模型生成的回复邮件拷贝至邮箱 用户填写地址、邮件标题,
12、点击发送只有这个步骤是大模型自动完成,其余步骤均需要用户自行手动操作有没有更加智能或者自动化的工具来协助我们完成这些手动操作呢?智能体(AI Agent)大语言模型(LLM)可以接受输入,可以分析&推理、规划任务、输出文字代码媒体。然而,其无法像人类一样,拥有运用各种工具与物理世界互动,以及拥有人类的记忆能力。LLM:接受输入、思考、规划任务、输出人类:LLM(接受输入、思考、规划任务、输出)+记忆+工具智能体记忆Short-term memoryLong-term memoryReflectionSelf-criticsChain of thoughtsSubgoal decompositi
13、on行动工具Calculator()CodeInterpreter()Search().moreCalendar()规划一个具体的例子 撰写调研报告:调研特斯拉 FSD 和华为ADS 这两个自动驾驶系统第一步:智能体进行任务拆解,首先调用CollectLinks工具从搜索引擎进行搜索并获取Url地址列表https:/ 撰写调研报告:调研特斯拉 FSD 和华为ADS 这两个自动驾驶系统第二步:调用WebBrowseAndSummarize工具浏览网页并总结网页内容(此工具调用了LLM)第三步:调用ConductResearch工具生成调研报告(此工具调用了LLM)一个具体的例子 撰写调研报告:调
14、研特斯拉 FSD 和华为ADS 这两个自动驾驶系统类型名称说明角色Researcher调研员智能体,从网络进行搜索并总结报告。通过LLM提示工程(Prompt Engineering),让LLM以调研员的角色去规划和拆分任务,使用提供的工具,完成调研过程,生成调研报告。在定义角色时,会为其注册下面列出的各项工具工具CollectLinks问题拆解,从搜索引擎进行搜索,并获取URL地址列表。该工具基于LLM提示工程和搜索引擎实现,其功能如下:(1)将问题拆分成多个适合搜索的子问题(基于LLM提示工程);(2)通过搜索引擎搜索子问题;(3)筛选出与调研问题有关的URL,并根据网站可靠性对URL列表
15、进行排序(基于LLM提示工程)工具WebBrowseAndSummarize浏览网页并总结网页内容。由两个工具组成:浏览网页和总结网络内容。(1)浏览网页是通过封装的 WebBrowserEngine 工具访问搜索引擎实现的;(2)总结搜索结果是通过LLM提示工程实现。工具ConductResearch生成调研报告。基于LLM提示工程的工具,该工具会整合WebBrowseAndSummarize 的输出给到LLM,让LLM生成调研报告记忆Short-term memory短期记忆能力,metaGPT框架封装了短期记忆的能力,用于在任务执行周期内保存和检索上下文记忆,如CollectLinks和
16、WebBrowseAndSummarize等工具的执行结果。自动发邮件The growth trend on the field of LLM-based autonomous agentsA Survey on Large Language Model based Autonomous Agents,2023.8Agent System 五层基石理论Models,也就是我们熟悉的调用大模型API。Prompt Templates,在提示词中引入变量以适应用户输入的提示模版。Chains,对模型的链式调用,以上一个输出为下一个输入的一部分。Agent,能自主执行链式调用,以及访问外部工具。,能
17、自主执行链式调用,以及访问外部工具。Multi-Agent,多个Agent共享一部分记忆,自主分工相互协作。The Framework of LLM-powered AgentsEnvironmentObservationActionAgentBrainConstructionBroader Action SpacesMultimodal OutputText&SpeechImagesToolsCalling APIs:calculator,task-specific models,web searching Multi-modal PerceptionImage&VideoSpeechUse
18、r behaviorScience dataStockdataCodeEmbodimentAutonomous carRobots;Arm;MemoryShort-term&Long-termTimeBrainDecision MakingReasoningPlanningReflectionRetrieveSummaryMemory&Decision Making LLM-poweredAgentsareartificialentitiesthatenhance LLMs with essential capabilities,enablingthem to sense their envi
19、ronment,make decisions,andtake actions.更复杂的任务:大小模型协作的生成式智能体 ChatGPT:具有强大的任务规划和工具调用能力 Hugging Face:最大的AI模型社区,每个模型都有详细的功能描述LLMsML community/Tool Library/APILanguageHuggingGPT:Solving AI Tasks with ChatGPT and its Friends in Hugging Face,Yongliang Shen,Kaitao Song,Xu Tan,Dongsheng Li,Weiming Lu,Yueting
20、 Zhuang.NeurIPS 2023HuggingGPT:大小模型协作的生成式智能体 工作流程:大语言模型负责规划和决策,AI小模型负责任务执行Task Planning Model Selection Task Execution Response GenerationHuggingGPT:大小模型协作的生成式智能体 大小模型协作AI Agent:大语言模型负责规划和决策,AI小模型负责任务执行HuggingGPT:Solving AI Tasks with ChatGPT and its Friends in Hugging Face,Yongliang Shen,Kaitao Son
21、g,Xu Tan,Dongsheng Li,Weiming Lu,Yueting Zhuang.NeurIPS 2023HuggingGPT 学术界、开源社区和工业界影响力:图灵奖获得者Bengio和Hinton一作论文引用:获得斯坦福客座教授吴恩达、英伟达GEAR Lab主任JimFan、OpenAI研究员等科学家的博文推荐;论文一年被引600余次,获得WAIC青年优秀论文奖;开源仓库获得2万多次收藏,获得国际测试委员会颁发的2022-2023百大开源成就奖,Demo系统获得HuggingFace Space Top 10;工 业 界 影 响:受 到 HuggingFace、Langchai
22、n、ModelScope等团队关注,推出相应的产品和功能:TransformersAgent、LangchainHuggingGPT 和ModelScopeAgent。Many of these risks could soon be amplified,and new risks created,as companies are developing autonomous AI:systems that can plan,act in the world,and pursue goals1Bengio Y,Hinton G,et al.Managing ai risks in an era
23、of rapid progressJ 英伟达GEAR Lab主任Jim Fan的推荐和解读斯坦福大学客座教授吴恩达的推荐和解读OpenAI研究员Lilian和Akhaliq的推荐和解读图灵奖获得者一作论文的引用评价大语言模型正在成为人工智能时代的信息系统入口智能时代一直没有出现像Windows、安卓/iOS这样真正的操作系统能够为用户提供信息系统入口/界面,同时可以管理计算资源并支撑应用开发。而大语言模型,正在起到信息系统入口界面作用。操作系统文件系统内存管理进程管理人机交互网络安全管控CPU调度办公桌面和移动应用大语言模型意图识别情感分析图像表示文本生成图片生成文本表示ChatAI应用图表示
24、声音生成图生成问答浏览器各种服务器图片编辑播放器科学计算QA翻译作曲画图服务应用写代码硬件虚拟层多模态/多领域数据通用接口Language Models are General-Purpose InterfacesYaru Hao Et.al.DOI:arxiv-2206.06336小结三:1.智能体(AI Agent)是大模型(Brain)的眼(Observation)和手(Tools)2.通过智能体(AI Agent)可以基于大模型实现各种较为复杂的智能应用系统四链融合产业大脑案例产业认知决策:国家战略需求美国/欧洲芯片架构操作系统等研发设计中国台湾/韩国晶圆制造存储器制造核心制造中国大陆
25、整机组装终端制造终端制造过去:分段互补合作模式制高点产业基础现在:主导权和卡脖子争夺决定性关键性基础性基础软件关键芯片创新能力、供应链体系、人才资源主导权卡脖子技术标准核心专利核心器件高端设备产业链控制基础支撑保障断链风险供应风险产业链自主可控卡脖子技术识别资源优化配置产业竞争从国家间分段互补合作模式转为主导权、制高点和卡脖子的争夺如何精准科学地识别并批量形成具有战略意义的卡脖子问题清单,是我国实现关键核心技术突破要解决的首要任务,直接影响国家产业安全战略决策与创新资源配置产业发展决策:广阔的社会需求政府决策需求企业创新需求新兴产业培育产业发展战略规划新兴产业布局指导产业能级提升路径未来产业培
26、育方向创新体系建设关键核心技术突破创新链产业链融合科技创新体系优化产业创新生态营造产业链安全产业链风险预警供应链韧性提升产业链补链强链产业安全保障体系转型升级需求技术创新路径规划数字化转型方案智能制造升级绿色低碳发展市场竞争需求技术竞争态势分析市场机遇识别产品创新方向竞争优势构建产业协同需求上下游协同创新产业资源对接创新要素匹配产业生态融入航空航天、轨道交通、新材料、新能源、电子信息等战略产业、未来产业对产业信息智能分析提出重大需求,呈现广泛、持续增长的发展态势。产业发展决策:广阔的社会需求产业发展方向研判前沿技术遴选研判产业技术监测跟踪产业化应用场景研判技术演进路径分析产业发展趋势预测产业技
27、术“弱信号”发现各地各行业在布局新兴/未来产业的过程中,由于对前沿技术、技术路线、应用场景、大规模产业化的时机等方面把握不准,难以做出有效选择。如何精准感知产业技术态势,科学研判产业发展方向,及时布局产业化应用场景培育新产品,成为未来产业大变局中区域/企业实现竞争突围的关键。AI推动“科技创新”和“产业创新”的深度融合产业经济面临机遇全球经济发展,产品和服务的需求不断变化和升级,为产业经济提供了广阔的发展空间市场需求是驱动产业经济发展的关键因素新技术、新工艺和新材料的涌现,为产业经济的升级和转型提供了强大的动力技术进步是推动产业经济发展的重要力量在政策的引导下,一些具有战略意义的新兴产业和领域
28、将得到重点扶持,从而加速其发展和壮大政策环境对产业经济的发展具有重要影响推动创新链、产业链、资金链、人才链深度融合是解决当前乃至未来较长时间内加强产业创新发展、加快锻造新质生产力的重要抓手产业经济面临挑战产业基础能力的不足是一个重要挑战。在核心技术、装备、原材料等方面,中国与国际先进水平之间存在明显差距产业基础能力不足产业的发展依赖于完整的产业体系,中国的基础设施、技术标准、检测认证和监管体系尚不健全,缺乏统一的战略规划和顶层设计产业创新生态亟需完善中国在基础研究和应用研究人才的比例较低,尤其缺少跨界型、复合型人才。以智能制造领域例,预计到2025年人才需求将达到900万人,面临高达450万人
29、的人才缺口,中国亟需加强未来产业相关领域的人才培养和引进人才基础较为薄弱业务流程更深行业知识更深情报服务知识问答招商服务技术分析报告生成产业研究产业网链大模型产业网链大模型面向产业创新领域,以通用中文大模型为基座,注入数十亿海量产业数据和数百个产业链知识图谱,结合工具集、知识库和指令微调训练得到产业网链大模型。底层拥有强大的产业数据和知识图谱数据,避免产业基础能力不足;实现智能化、精细化的产业治理模式,推动产业创新与发展,加强产业创新生态完善;具备强大的自动化处理产业信息能力、智能分析与预测,提升服务效率,降低人力成本。产业网链大模型训练过程海量数据资源数据描述数量企业库1.9亿+人才库300
30、0万+专家库3万+全球海关20亿+大宗商品交易行情15亿+政策590万+资讯4000万+招投标14亿+通用产业数据科技数据数据描述数量专利1.5亿+论文1.2亿+书籍291万百科410万行业数据数据描述数量行业舆情1.3亿+风险信息200万+数据来源:数据来源:数据来源:海量数据资源最具权威的产业链、供应链数据资源国家工业互联网大数据中心浙大CCAI产业链大数据中心工信部采购中心招标采购公告14亿+招投标主体36万+法人社会组织1.9亿+高管信息6000万+23万+每日招采公告标的数据42万+产业链图谱数据:构建了10万级产业节点标准库,形成了100+产业链知识图谱,进出口贸易数据:全球海关5
31、0亿条进出口记录,覆盖全球150多个国家、80%以上贸易量招投标事件数据:汇聚了全国重大项目招采数据14亿+、招投标项目300万+、金额2.2万亿元+产品供应链数据:整理了28大类通用零配件、10万件标准件模型、供应商数字产品1.9亿件四链融合知识计算引擎SupXmind基础平台:充分融合大模型+知识图谱的前沿技术,贯穿从“大数据”到“大知识”到“大模型”全流程,构建人机共生认知决策链路,帮助用户打造智能决策系统。产业垂域大模型iChainGPT iChainGPT是以通用大模型为基座,面向产业创新咨询服务场景,注入数十亿海量产业数据和数百个产业链知识图谱,结合工具集、知识库和指令微调训练得到
32、产业垂域大模型,提供产业文档解读、产业链图认知、产业主体画像、产业实体匹配、产业发展预测、产业数据探索、产业报告生成等7个方向的特色能力。产业网链大模型构成及服务框架产业网链大模型使用海量产业数据和知识图谱训练,创新性地引入了“大小模型协同”的智能体框架,面向产业创新业务场景,提供了包括产业知识问答、产业报告生成、产业技术分析、产业文档理解等能力,向上为企业、园区、政府等产业认知决策需求机构提供专业产业知识服务。客户可私有化部署,也可根据需求替换模型基座和场景数据,快速输出定制化模型能力,此外可根据客户应用场景需求提供组件能力封装和应用系统集成。产业网链大模型记忆模块任务规划工具模块“大小模型
33、协同”的智能体框架典型应用场景省级四链融合决策应用实践:浙江省产业一链通 企业用户6.3万家 累计访问量288.5万次 累计解决企业各类诉求9.8万个 挽回直接经济损失246亿元 获得部省领导批示5件 央视新闻联播点赞 工信部优秀案例,全国推广浙江省产业一链通从“产业链治理现代化”重大改革出发,着眼解决标志性产业链“优势不突出、链条不完整、循环不畅通、转移非正常”等问题,形成强链、补链、畅链、固链四大业务举措。应用实例:市域四链融合决策应用实践56宁波市产业链智能创新平台特色创新特色创新绍兴市创谱数字化应用平台技术模式创新:首个产业链垂域大模型iChainGPT为产业智能化服务开辟新模式服务模
34、式创新:通过线上线下相结合的方式,提供产学研精准合作一站式服务,打通了四链融合落地最后一公里 构建四链融合指数 构建企业成长模块 构建四链融合精准对接模型应用实例:市域四链融合决策应用实践57南平市绿色产业创新平台特色创新特色创新杭州市成果转移转化服务平台 绿色创新指数 关键技术挖掘 强补固拓模型 创新主体评价 投资决策模型 科技招商模型 成果转化大模型 企业转化能力评价模型 企业需求预测模型 报告智能生成模型 成果需求推荐模型产业集群四链融合决策应用实践:中国视谷产业大脑围绕“政府精准治理、产业生态培育、企业创新服务”的需求,运用知识计算、大数据等技术建设中国视谷产业大脑,驱动政府、园区、企
35、业、人才等多元创新主体共谋产业发展产业集群四链融合决策应用实践:萧山机器人产业大脑以夯实基础、高效上线、打造亮点为任务,以机器人产业面临的问题为导向,基于萧山机器人产业发展基础和规划,结合建设运营方已有的产品和经验,选取机器人产业链招商为切入点,建设全球机器人产业知识中心和产业链精准合作平台产业集群四链融合决策应用实践60慈溪智能家电科技大脑特色创新特色创新宁波市高新区新材云创新材料科创大脑 建立数字化产业监管模式 构建综合资源服务体系 构建线上产业交流平台 家电知识问答大模型 赛道甄选5A模型 企业创新力评价模型 用户决策树构建模型总结:1.新一代大模型的推理能力正在不断增强2.基于高质量小数据集即可训练得到某个专业领域的高性能低成本推理模型3.通过智能体(AI Agent)可以基于大模型实现各种较为复杂的智能应用系统4.“推理大模型+知识图谱(知识库)+智能体”是否会成为未来AI系统开发和应用的范式?使能技术、赋能社会:人工智能是引领这一轮科技革命、产业变革和社会发展的战略性技术,具有溢出带动性很强的头雁效应,其作始也简,其将毕也必巨致天下之治者在人才,成天下之才者在教化,教化之所本者在学校肖俊肖俊 博士、教授、博士生导师浙江大学计算机学院人工智能研究所电子邮件:手机:13867424906谢谢!