• 首页 >  人工智能 >  AI产业
  • 清华大学:2024气象人工智能技术与应用报告(86页).pdf

    定制报告-个性化定制-按需专项定制研究报告

    行业报告、薪酬报告

    联系:400-6363-638

  • 《清华大学:2024气象人工智能技术与应用报告(86页).pdf》由会员分享,可在线阅读,更多相关《清华大学:2024气象人工智能技术与应用报告(86页).pdf(86页珍藏版)》请在薪酬报告网上搜索。

    1、气象人工智能技术与应用气候-水-能源研究组Climate-Water-Energy Research Group罗勇夏 馨施 文廖舟怡马子起黄建斌黄小猛2人工智能的发展符号AI专家系统规则系统第一代第二代第三代John McCarthyMarvin MinskyClaude ShannonNathaniel RochesterAllen NewellHerbert A.SimonArthur SamuelOliver SelfridgeRay SolomonoffTrenchard More1956 Dartmouth ConferenceThe pioneers of AI1956达特茅斯会

    2、议AI先驱者感知智能大数据驱动的统计学习方法初步实现了针对文本、图像、语音等感知与识别Geoffrey HintonYann LeCun认知智能张钹院士2016年提出第三代人工智能雏形,DARPA 2018年发布AINext计划。核心要素是数据、知识、算法和算力。Ilya Sutskever姚期智Yoshua BengioNoam Chomsky Edward FeigenbaumRobert Mercer通过对巨量数据的建模和处理,实现对多模态信息的理解、推理、规划、执行,实现复杂的高阶认知任务大数据与人工智能正在引发一场深刻的地球科学研究革命大数据与人工智能应对全球变化研究呈爆发性增长,有

    3、力促进了地球系统的机理、模拟和预测研究,人工智能与数值预报的融合成为热点和难点大数据和人工智能人工智能如何创新研究范式?气象人工智能技术应用人工智能的原理和方法,包括但不限于机器学习、深度学习、数据挖掘和自然语言处理等,对气象数据进行高效处理、分析和解释的技术。这些技术在气象领域的应用越来越广泛,已经成为提升气象服务水平的重要手段。6AI气象大模型的发展2018年ECMWF发布了机器学习相关的科学出版物2022年2月全面的中期天气预报模式有所发展2022年10月1 km全球更细分辨率的模型2022年11月热带气旋等天气2022年12月大量预测模型出现2023年1月全球和区域尺度共同发展2023

    4、年4月7天+预报技巧提升PeterDueben和和PeterBauer(ECMWF)使 用ERA5 数 据 发 布 了 一 篇 论文,分辨率约为500公里,用于预测未来z500。Keisler 发展了 GraphNN 1分辨率,可以与可以与GFS模式相比较。NVIDIA创 建 了FourCastNetFourier+,0.25分辨率,比IFS预报快O(104)倍,且模式运行更为节能。Jua.ai等等实现全球1x1公里,提前48小时,时间步长5分钟预报。华为华为-盘古气象大模型盘古气象大模型0.25 分辨率,小时产品,“比IFS更准确的轨迹”。谷歌谷歌 Deepmind GraphCast0.2

    5、5分辨率,6 小 时 产 品,预测许多变量和气压层,精度与IFS接近。微软微软 ClimaX在各种分辨率下进行预测,包括全球和区域。中国学术界中国学术界+上海上海气象局气象局-风乌风乌0.25 分 辨 率,6 小 时 产 品,在更长的时间尺度上改进了GraphCast(仍然是确定性的预报)。2023年11月15天+(S2S)全球预报复旦大学复旦大学+上上海科学智能研海科学智能研究所究所 伏羲伏羲气候气象大模气候气象大模型型,伏羲次季节大模型的预报精度更准、预报周期更长(45天)、运行速度提升千倍。2024年6月18日中国气象局中国气象局发布不同时间尺度三大AI气象大模型风清风清:人工智能全球中

    6、短期预报系统;风雷风雷:人工智能临近预报系统;风顺风顺:人工智能 全 球 次 季节季节预测系统。报告内容智能气候预测的理念与案例基于机器学习方法的中国降水预测基于中尺度气象同化预报和深度学习的风速预报光伏电站太阳辐射超短期预报基于深度学习的北极地区格点化地表气温重建气象人工智能未来发展思考报告内容智能气候预测的理念与案例基于机器学习方法的中国降水预测基于中尺度气象同化预报和深度学习的风速预报光伏电站太阳辐射超短期预报基于深度学习的北极地区格点化地表气温重建气象人工智能未来发展思考智能气候预测什么是智能气候预测?将人工智能算法与气候预测相结合,构建智能气候预测技术体系,即以大数据应用为前提,在通

    7、过机器学习和常规方法进行客观定量预测的基础上进行智能评估,继而动态推荐预测结果。随着大数据和人工智能的发展,海量数据深度学习、复杂神经网络等逐步应用,人工智能为气候预测提供了一种解决难题的新思路。可以用人工智能算法把超级计算机的预报结果尽可能地、自动地、不用人工干预地修正到与实际观测数据更接近,以促进延伸期-月-次季节-季气候预测能力和准确率逐步提高。研究思路10 模型以数值模式回算资料的季节环流预测作为输入,以对应的降水预测作为输出,训练模型学习环流与同期降水之间的非线性关系;利用观测资料对模型进行迁移学习,进一步调整网络参数。实际预测时,利用高质量的多模式集合季节环流预测场输入模型,预测季

    8、节降水。“环流是天气的载体”+“巡航导弹”巡航导弹通常采用惯导、地形匹配制导、GPS制导和景象匹配制导等组合制导方式。11探索思路:射击问题与巡航导弹 传统的射击问题 气候系统预测的相似性 大气:导弹;海陆冰:地形地貌巡航导弹通常采用惯导、地形匹配制导、GPS制导和景象匹配制导等组合制导方式。拟解决的科学问题1.建立夏季降水的深度学习预测模型通过监督学习/无监督学习的思路,将卷积神经网络等深度学习方法应用在夏季降水的季节预测中,通过观测资料和动力模式数据(季节模式,CMIP6)建立基于模式季节预测结果和前期观测信息的汛期降水预测模型,对汛期降水距平百分率空间分布场进行预测,以期提高汛期降水预测

    9、准确率。2.前兆信号和影响机理的识别由于深度学习可以处理多维数据,具有自动提取特征的功能。可以利用可解释性深度学习的部分方案,评估深度学习模型的预测机理。目的在发现新的影响因子和预报关系,评估不同因子对夏季降水的影响大小,分析汛期降水的影响机制。3.模式误差来源的分析和评估使用深度学习模型订正模式数据;通过分析模式回算数据与观测或再分析资料所构建模型的差异,评估模式对不同物理过程的模拟能力;或通过深度学习模型分析模式汛期降水预测误差的主要来源。12汛期全国气候趋势预测1月 启动分析研判工作2月-3月-召开汛期全国气候趋势预测会商会;3月23日起,中国气象局首次面向公众发布气候预测信息4月 中国

    10、气象局举行新闻发布会,发布全国汛期气候趋势预测结果5月-召开汛期气候趋势预测滚动订正6月 召开汛期气候趋势预测第二次滚动订正9月-汛期全国气候趋势预测检验评估综合分析前期海洋、陆面、大气环流、气候异常特征等影响因素邀请水利部、高校及科研院所等专家共同研判;结合国内外动力气候模式预测结果滚动订正预测结果滚动订正预测结果2021年汛期降水趋势预测邀请水利部、高校及科研院所等专家共同研判中国汛期降水时空分布特征15受季风、地形等影响,我国汛期(6-8月)总雨量占全年降水量比例大,且区域差异和年际年代际变化明显。汛期降水与国民经济和人民生活密切相关,是我国短期气候预测的主要任务。中国中东部降水年循环1

    11、950sDing et al.,2008,Int.J.Climatol;Wu et al.,2018,Atmosphere1960s1970s1980s1990s2000s2010s中国中东部汛期降水年代际变化东亚季风影响因素示意图“东南西北中”这五大因素可以概括影响东亚季风的主要热力、动力条件,即大气环流和下垫面热状况。汛期降水数值模式预测技巧17国际主流数值模式近四年汛期预测评分(ACC,PS)上图来源:国家气候中心;吴捷等,2017,大气科学;Wang et al.,2009,CDBCC二代模式对不同地区(全球,热带,北半球热带外,南半球热带外,东亚,南亚)的降水预报TCC。不同颜色表示

    12、不同起报时间。模式对不同地区的降水预报能力不同。对中高纬度地区预报技巧较低;模式对大气环流、温度等变量预测能力远超对降水的预报能力。季节气候模式的汛期预报PS评分在70分左右;但ACC(距平相关系数)仍在0.2以下,甚至可能小于0。封国林等,2013,应用气象学报;刘颖等,2020,气候与环境研究动力-统计模型汛期降水预测FODAS系统预测流程1.统计后处理利用历史相似等方案对模式预报误差进行订正2009201020112012201320142015201620172018201950607080PSYear 业务模式 FODASFODAS:74分业务模式:64分2.统计降尺度利用动力模式中

    13、具有较高预测技巧的大尺度环流信息预测降水1991-2012年汛期降水与同期东亚SLPSVD第一模态SLP降水18动力-统计方法仍依赖对影响机制和模式误差的理解,且样本数量少,效果不够稳定。什么是Deep Learning?Deep Learning=Learning representations/features without being taught深度学习:学习数据表示的多级方法。深度学习是机器学习的一个分支领域,是从数据中学习表示的一种新方法,强调从连续的层(layer)中进行学习,这些层对应于越来越有意义的表示。“深度学习”中的“深度”指的并不是利用这种方法所获取的更深层次的理解,

    14、而是指一系列连续的表示层。手工地选取特征是一件非常费力、启发式(需要专业知识)的方法,能不能选取好很大程度上靠经验和运气,而且它的调节需要大量的时间。既然手工选取特征不太好,那么能不能自动地学习一些特征呢?答案是能!“深度学习”就擅长做这个事情!深度学习方法的优势20Reichstein et al.,2019,Nature;Lecun et al.,2019,Nature深度学习:通过多个处理层(神经网络)学习抽取合适的特征(预测因子),而不再局限于人工设计模型后的参数优化,称为表示学习(representation learning)。y=f(z)通过激活函数模拟非线性关系通过反向传播训练

    15、神经网络参数,找到更优的参数组合深度学习在气候预测中的应用前景Racah,2017,arXiv;Vandal,2018,IJCAI;Reichstein,2019,Nature事件识别降尺度场预测序列预测21季节预测仍然是重大挑战,特别是中纬度降水预测能力仍然较低,因此中国汛期降水预测仍然是重大挑战,而深度学习可能带来新的提升:目前的概念模型受限于对影响因子的理解。深度学习的挖掘能力可能学习到新的预测信号。动力模式预测技巧较低。模式数据不断增多,但对其误差的特征和原因的分析远远不够;而深度学习擅于处理大数据。目前应用的统计方法往往结构较为简单,对非线性关系描述能力较弱。深度学习则可以从数据中学

    16、习合理的非线性特征。深度学习聚焦于空间学习和序列学习,其数据形式与气候数据有很高的相似性。Kadow,2020,Nature;Ham,2019,Nature深度学习在气候领域的应用(1)22深度学习利用模式数据补充缺测值HadCRUT4早期缺测值较多(图a),利用CMIP模式数据,深度学习可以补充缺测值(图b),效果超过克里金插值(图c)和PCA插值(图d)。以1877年7月为例,深度学习方法可以复现厄尔尼诺现象(图b)。利用迁移学习提升ENSO预测准确率使用21个CMIP5模式数据对深度学习模型进行预训练,使用观测、再分析资料对模型参数进行订正(迁移学习),对结果有显著提升。解决深度学习的两

    17、大问题:1.样本量不足:一些研究结合模式数据训练模型。Ham et al.,2019,Nature;Benjamin et al.,2019,arXiv提前18个月预测1997/98 ENSO事件:填色:Heatmap,表示预测因子对结果影响的比重;等值线:海表气温和热容量。深度学习模型准确模拟了预测因子对1997/98年厄尔尼诺的影响:热带西太平洋热容量正异常,印度洋偶极子负位相,北大西洋冷海温。23深度学习在气候领域的应用(2)解决深度学习的两大问题:2.机理难以解释。一些研究探索了通过模型可视化探索机理的可能性。利用深度学习识别ENSO事件:模型可视化方法optimal input显示,

    18、神经网络准确识别了ENSO指数的定义区域为赤道中东太平洋。报告内容智能气候预测的理念与案例基于机器学习方法的中国降水预测基于中尺度气象同化预报和深度学习的风速预报光伏电站太阳辐射超短期预报基于深度学习的北极地区格点化地表气温重建气象人工智能未来发展思考基于卷积神经网络方法的季节降水预测25动力统计结合对多个动力模式进行后处理统计降尺度基于高技巧的环流变量预测降水深度学习CNN模型自动提取气象场中的预测因子5层CNN+卷积注意力模块重建为降水距平场基础模型深度特征任务特异头部SEDES模型神经网络的基本结构+季节特征SEDES模型的训练策略动力模式环流or 观测环流岭回归迁移学习降水距平场PC系

    19、数迁移学习岭回归迁移学习方法克服小样本问题基于深度学习方法的中国季节降水预测系统SEasonal DEep-learning System物理统计方法(前期因子)动力统计结合方法(同期因子)完全预报方法(PP)订正(calibration)模式输出统计(MOS)统计降尺度*(bridging)*基于模式高技巧输出的预测SEDES模型应用效果262020年ACC=0.23 PS=81.22022年ACC=0.37 PS=742021年ACC=0.16 PS=752023年ACC=0.13 PS=69.5独立样本检验(2013-2016)参加全国汛期预测会商3月起报MME环流距平ERA5环流距平输

    20、入优化环流标准化距平divuvq850div2022年汛期降水预测误差的诊断复盘2024年中国地区6-8月降水距平百分率(%)预测基于卷积神经网络方法的次季节降水预测27基本目标 对气候中心的区域次季节预测模式CWRF进行降尺度后处理 在三个时间尺度(5d、10d、30d)上分别建立环流和降水的关系 形成侯、旬、月三个时间尺度的预测产品1Dmodel5day1Dmodel30day2Dmodel5day2Dmodel30day独立验证集分数随机样本对比 空间细节模糊 侯、旬:一维模型 月:二维模型降水异常典型模态的环流配置降水异常典型年的环流成因目标问题:深度学习模型的后解释性 中国季节降水异

    21、常与环流的关系通过“optimal input”方法求解深度学习模型中有利于特定降水异常模态的环流配置。通过“Grad-CAM”方法求解典型年同期环流中导致降水异常分布的主要影响信号。降水异常模态EOF1空间分布降水异常模态EOF3空间分布以降水的第1和第3模态为例:29降水异常典型模态的环流配置SEDES可以对某特定环流配置下季节降水各EOF模态对应的PC系数值进行预测。通过输入优化(optimal input)方法,寻找SEDES模型预测冬季降水EOF1和EOF3模态正位相时的判据,即生成EOF1和EOF3模态正位相对应的典型环流场,从而讨论该模型的物理可解释性。环流模型参数PC系数读取已

    22、有的模型结构和参数并固定将一组大气环流异常场初始化为0将大气环流异常场输入模型获取模型输出的第k个PC系数通过梯度下降,修订环流异常场,使其输出的第k个PC系数更大第k个PC系数不再增长时,对应的环流异常场为使第k个模态为显著正位相时对应的典型环流场基于输入优化的典型环流场分析流程图30降水异常典型模态的环流配置 方法介绍模型训练阶段,将配对的环流和PC系数输入模型,不断调整模型参数,使模型输出接近标签值;输入优化阶段,固定模型参数,不断调整模型输入,使模型输出接近期待值。200hPa纬向风异常(色阶)500hPa高度异常(等值线)850hPa比湿异常(色阶)850hPa风异常(等值线)北方降

    23、水偏多对应500hPa位势高度异常场为西北低东南高分布,乌山至贝湖地区为大面积负异常,中高纬冷空气活跃;西太副高偏强偏北,大量水汽在低层沿偏南风向北输送。该结果表明深度学习模型具有物理可解释性。揭示了不同季节典型降水异常的环流成因。基于EOF1正位相生成的环流场环流对应降水标准化异常空间分布31降水异常典型模态的环流配置 以EOF1为例夏季冬季200hPa纬向风异常(色阶)500hPa高度异常(等值线)850hPa比湿异常(色阶)850hPa风异常(等值线)基于EOF3正位相生成的环流场1997/1998 年冬季大气环流场厄尔尼诺成熟期菲律宾反气旋对东亚气候的影响示意图环流对应降水标准化异常空

    24、间分布(Wang,2000,J.Climate)32降水异常典型模态的环流配置 以EOF3为例冬季冬季南方降水偏多对应的深度学习输入优化环流与厄尔尼诺成熟期的环流类似。表明模型对大范围遥相关的非线性拟合能力。Grad-CAM:对于模型第c个输出值,第k个特征图对应的权重为:=,=1其中A为特征图集合,i、j为特征图上的格点坐标,Z为格点总数。最终输出的激活图为:L=()33季节降水的环流影响机制降水异常典型模态的环流配置降水异常典型年的环流成因目标问题:深度学习模型的后解释性 中国季节降水异常与环流的关系通过“optimal input”方法求解深度学习模型中有利于特定降水异常模态的环流配置。

    25、通过“Grad-CAM”方法求解典型年同期环流中导致降水异常分布的主要影响信号。对于典型降水异常年,通过类激活图(ClassActivation Mapping)方法,标出对模型预测结果产生显著影响的环流区域,从而找到该年降水异常的环流成因。2013年夏季降水异常,其中(a)为观测,(b)为以再分析资料作为输入的模型预测(ACC=0.75)再分析大气环流标准化异常空间分布以2013年夏季为例,激活图反映了西太平洋至中国范围内的南方暖湿空气传播路径。典型的环流经向波列表明该年夏季风偏强,高低层配置指示了冷暖空气汇集的位置。因此,深度学习模型针对个例提取了东亚地区环流异常的关键特征,作为降水异常预

    26、测的主要依据。2013年夏季模型激活图空间分布200hPa纬向风异常(色阶)500hPa高度异常(等值线)850hPa比湿异常(色阶)850hPa风异常(等值线)34降水异常典型年的环流成因 以2013年夏季为例类激活图深度学习可解释性方法-遮挡敏感性35将输入动力模式环流的部分环流区域替换为再分析资料,计算降水ACC变化,评估优化不同区域环流预测效果对降水预测技巧的提升,可以揭示出对降水预测产生负面效果的环流预测误差关键区;对历史同期平均而言,SEDES模型预测技巧对近地面热力条件和低层水汽异常的误差最为敏感。(Zeiler et al.,2014)衡量不同空间区域的输入贡献,定位潜在的预报

    27、信号(Shin et al.,2022)寻找高频降水变率中人类活动的信号(Ham et al.,2022)衡量不同空间位置的信息如何改变输入结果零值遮挡:输入本身的重要性真值遮挡:输入误差的重要性现有应用SEDES 应用深度学习可解释性方法-输入优化36(Olah,2017)现有应用特定分类反推极端天气事件的输入环流配置(Gagne et al.,2019)利用气候模式做为训练集的模型,反推气候模式对气候变暖模拟的关键偏差(Barnes et al.,2020)EOF1EOF3固定模型参数,从输出反推输入最优环流配置?根据降水主要模态反推最优输入环流,指示与特定降水分布对应的典型环流场给定单一

    28、神经元输出给定单一模态输出实况降水对应PC系数组合SEDES 应用局部误差及其影响-中高纬系统37u200z500uvq700-+在东北地区,200hPa纬向风和700hPa纬向风的预测误差对降水预测影响较大。动力模式对急流的波动特征、强度和出口位置预测不准确,700hPa风场在东北地区的预测与实际相反 可能是东北、内蒙东部一带降水预测偏差的主要原因。这种实况配置与最优环流一致3月起报MME环流距平ERA5环流距平3月起报MME环流距平3月起报MME环流距平输入优化环流标准化距平小结1.机器学习,特别是深度学习方法在季节-次季节气候预测中有广泛的应用前景。2.当前汛期预报业务主要依赖于数值模式

    29、和预报员的主观订正。本研究提供了针对全国汛期降水距平百分率的深度学习客观预报模型,利用模式环流预报数据,提供更准确的全国汛期降水距平百分率分布预报。3.利用模型的可解释性,可进一步分解深度学习模型的误差来源,为分析同期环流与汛期降水的非线性关系,及分析数值模式的关键误差提供帮助。38报告内容智能气候预测的理念与案例基于机器学习方法的中国降水预测基于中尺度气象同化预报和深度学习的风速预报光伏电站太阳辐射超短期预报基于深度学习的北极地区格点化地表气温重建气象人工智能未来发展思考40风电场风速和风电功率预报现状购买临近网格点的欧洲风速预报产品单一风电场风速和风功率后处理订正系统单一风电场风速和风功率

    30、预报产品 依赖国外预报产盘,被“卡脖子”;成本倍增;资料同化尚未广泛应用。模式后处理模型可解释性较差,无法从大量模式变量中筛选重要特征;不同地区需要花费大量时间进行特征工程构建;单一风电场的数据样本量不足;模式后处理算法较为简单,忽略了气象变量的时间相关性。41WINDES设计思路美国、欧洲或者中国气象局全球预报产品中国地区中尺度气象预报模式(3-5公里)全国或省电网范围内所有风电场后处理订正系统全国或省电网范围内所有风电场风速和风功率预报产品中国数据同化(下垫面、不同风电场测风塔的空间相关性)特征构建、提取和选择(小时特征与M-O长度、理查孙数)全球预报产品灵活切换,不受制于人网格0102-

    31、16水平分辨率25 km5 km垂直层数5151云微物理方案MorrisonMorrison长波辐射方案RRTMGRRTMG短波辐射方案RRTMGRRTMG陆面过程方案NoahNoah积云对流方案KainFritsch无边界层方案YSUYSUWRF模式的网格以及参数设置WRF模式模拟区域和嵌套网格设置预报时间:2009年6月-2010年5月WRF模式运行设置42模拟区域划分依据:省级电网区域范围基于中尺度气象同化预报和深度学习方法的风速预报系统(WINDES,WIND speed dEep-learning System)采用的模式运行设置在实际应用中可以满足电网对于时间的需求。基于WRF模式

    32、的短期风速预报43各省(区、市)风资源开发地区WRF中尺度模式风速预报第一部分WRF模式风速预报第二部分资料同化改进预报3DVar+WRF模式风速预报3DVar资料同化基于机器学习的模式结果后处理算法多个高度/气压层的模式变量第三部分后处理以及特征筛选梯度提升决策树第四部分模式结果后处理风速预报模式各个特征的重要程度基于时间序列相关性的神经网络风速预报近地层风速等重要特征WINDES技术路线卫星资料+常规观测资料0-24h:0-24小时预报24-48h:24-48小时预报48-72h:48-72小时预报“WRF”:WRF预报结果;“ATTN”:Attention+LSTM结果;“LSTM”:L

    33、STM结果;“MLP”:对照试验结果不同省WRF风速预报结果与LSTM、Attention+LSTM、BP神经网络的结果在测试集上的RMSE对比。三种方法相对于WRF结果都能减小RMSE。ATTN和LSTM的RMSE减小幅度较大。ATTN的效果最佳,在不同省的结果中,相对于WRF原始结果,RMSE减小幅度为30%-65%省(区、市)预报时间WRFATTNLSTMMLP省(区、市)预报时间WRFATTNLSTMMLP北京0-24h4.601.942.17 2.71 辽宁0-24h2.641.681.88 2.11 24-48h4.802.132.34 2.87 24-48h2.961.842.1

    34、0 2.29 48-72h4.902.162.43 3.33 48-72h3.202.012.27 2.55 广东0-24h3.081.681.92 2.77 内蒙古0-24h3.032.072.34 2.70 24-48h3.311.842.06 2.85 24-48h3.402.302.62 2.81 48-72h3.511.942.13 2.97 48-72h3.632.432.74 2.91 海南0-24h3.031.661.86 2.48 宁夏0-24h3.301.912.18 2.94 24-48h3.221.761.95 2.57 24-48h3.662.012.27 3.14

    35、48-72h3.451.842.05 2.72 48-72h3.852.102.39 3.21 河北0-24h3.371.721.96 3.04 青海0-24h4.282.362.60 3.77 24-48h3.671.862.10 3.15 24-48h4.482.432.74 3.94 48-72h3.852.022.23 3.32 48-72h4.582.462.80 4.04 河南0-24h2.781.651.79 2.42 山西0-24h3.471.812.07 2.39 24-48h3.261.842.03 2.62 24-48h3.941.932.20 2.49 48-72h3.

    36、391.912.18 2.83 48-72h4.082.032.29 2.59 黑龙江0-24h2.481.571.78 2.05 陕西0-24h2.811.761.99 2.34 24-48h2.761.701.92 2.15 24-48h3.221.922.22 2.43 48-72h2.951.792.05 2.26 48-72h3.411.992.30 2.50 湖北0-24h2.701.531.69 2.05 上海0-24h2.421.331.44 1.91 24-48h2.991.661.91 2.21 24-48h2.831.451.49 1.99 48-72h3.131.681

    37、.87 2.30 48-72h3.171.511.77 2.22 湖南0-24h2.761.571.78 2.30 四川0-24h4.121.581.72 3.49 24-48h3.131.791.90 2.49 24-48h4.411.551.82 3.59 48-72h3.111.822.05 2.61 48-72h4.511.661.87 3.67 江苏0-24h2.511.461.62 1.96 新疆0-24h4.122.703.00 3.46 24-48h3.011.651.86 2.16 24-48h4.522.853.15 3.69 48-72h3.271.771.97 2.29

    38、 48-72h4.642.893.29 3.74 江西0-24h2.681.601.77 2.19 云南0-24h4.021.912.08 3.22 24-48h2.991.741.99 2.40 24-48h4.052.002.19 3.31 48-72h3.061.811.99 2.52 48-72h4.072.092.32 3.39 模式结果后处理4445面向某省电网的风电场风速预报1.1.满足电网对发电量预报的要求;满足电网对发电量预报的要求;2.2.下载下载GFSGFS全球模式预报产品的时间;全球模式预报产品的时间;3.3.下载卫星遥感资料度的时间;下载卫星遥感资料度的时间;4.10

    39、4.10天天+28+28小时预报的计算时间;小时预报的计算时间;5.5.初始场同化的计算时间;初始场同化的计算时间;5.5.人工智能的计算时间;人工智能的计算时间;6.6.发布预报产品的时间;发布预报产品的时间;7.7.故障处理的时间。故障处理的时间。面向某省电网的风电场风速预报系统WINDESrmsewrf24h48h72hreferencen_trainn_test风电场12.931.811.971.882.1627592814623.171.731.831.852.4022267664833.201.732.022.20nan28591857043.141.591.802.132.401

    40、46884416某省四个风电场的72小时风速预报均方根误差风速预报结果46风速:m/s报告内容智能气候预测的理念与案例基于机器学习方法的中国降水预测基于中尺度气象同化预报和深度学习的风速预报光伏电站太阳辐射超短期预报基于深度学习的北极地区格点化地表气温重建气象人工智能未来发展思考卫星数据插值边缘平滑处理太阳高度角订正WRFDA数据同化气象探空资料电站地面观测资料GFS大尺度预报数据全天空成像仪图像资料去除污渍斑点图像畸变调整图像尺寸调整WRF-SOLAR模式预报水平总辐射GHI空气相对湿度地表温度风速/风向云分数地表气压模式误差订正:卷积神经网络多层感知机长短期记忆网络AERONETAOD观测

    41、数据集卫星数据变分订正卫星AOD数据集相对湿度订正AOD时空分布短期预报未来1-10天GHI超短期预报未来1小时GHI辐射预报算法:卷积神经网络长短期记忆网络数据收集晴空模型数据预处理模型运行基于深度学习方法的太阳辐射预报系统(SOLARES,SOLAR irradiance dEep-learning System)WRF模式的网格以及参数设置网格d01d02d03水平分辨率27 km9 km3 km垂直层数414141云微物理方案ThompsonThompsonThompson长波辐射方案RRTMGRRTMGRRTMG短波辐射方案RRTMGRRTMGRRTMG陆面过程方案NoahNoahN

    42、oah积云对流方案Grell 3DGrell 3D无边界层方案Eta TKE schemeEta TKE schemeEta TKE schemeWRF模式模拟区域和嵌套网格设置地点:新疆五家渠光伏电站预报时间:2020年1月-2022年12月采用的模式运行设置在实际应用中可以满足电网对于时间的需求。初始场数据:美国GFS全球预报数据太阳辐射短期预报太阳辐射短期预报输入 1:WRF_GHI输入 2:WRF_T10输入 3:太阳天顶角拼接长短期记忆网络(LSTM)D03WRF_Cloud卷积卷积池化池化卷积神经网络框架多层感知机框架GHI预报全连接层+Sigmoid 激活区域输入数据单点输入数据

    43、太阳辐射预报与风速预报的区别:高度依赖云层的时空变化太阳辐射短期预报结果050100150200250300一月二月三月四月五月六月七月八月九月十月十一月十二月RMSE(W/m2)持续性预报WRFWRF+CNNWRF+CNN+LSTM2020-2022 未来24小时预报均方根误差太阳辐射超短期预报0200400600800100012006:008:2410:4813:1215:3618:0020:24GHI(W/m2)0200400600800100012007:129:3612:0014:2416:4819:1221:36Clear sky GHIObserved GHIWRF forec

    44、astWRF+AI ForecastSky-Image Forecast WRF预报和WRF+人工智能订正的方法擅长未来24小时至未来数天的预报,能预测未来天气的大致趋势。但在超短期预报中,这些方法容易忽视爬坡事件以及辐射的短暂波动 准确的现场观测数据包括全天空成像仪图像序列有助于改进超短期预报效果。2021-07-18 未来一小时预报数据获取实验地点:新疆五家渠44 24 23 N,87 39 22 E全球水平辐照度(GHI)观测:光伏电站内观测站每10分钟一次天空图像采集EKO ASI-16每5分钟一次数据预处理质量控制和异常值过滤图像大小调整与畸变调整数据分割:训练集、验证集、测试集太阳

    45、辐射超短期预报太阳辐射超短期预报关键算法:AARes ConvLSTM注意力增强下的残差网络(Attention-augmented ResNet)卷积神经网络从天空图像中提取云层空间特征。采用ResNet-18作为卷积神经网络结构,因为采用残差计算可以平衡计算效率和梯度消失问题。通过注意力增强卷积网络(AACN)增强ResNet-18,通过关注输入中更重要的部分,克服传统卷积神经网络的局限。卷积长短期记忆网络(ConvLSTM)LSTM在保留长期依赖关系和解决传统递归神经网络(RNN)中常见的梯度消失问题方面有优势,确保了序列图像的高效处理。卷积LSTM是LSTM的演变,将卷积操作纳入LST

    46、M结构中,有效捕获二维图像数据的时空依赖性。太阳辐射超短期预报模型比较1.Persistence Model 2.Basic ANN 3.Stacked CNN(Feng et al.2022)4.3DCNN(Feng et al.2022)5.3DResNet(ResNet without LSTM&attention)6.ResNet-ConvLSTM(ResNet-ConvLSTM without attention)7.AARes-ConvLSTM均方根误差预报技巧报告内容智能气候预测的理念与案例基于机器学习方法的中国降水预测基于中尺度气象同化预报和深度学习的风速预报光伏电站太阳辐射超

    47、短期预报基于深度学习的北极地区格点化地表气温重建气象人工智能未来发展思考已有研究表明:极地缺测对研究全球温度变化存在明显的影响重建一套覆盖30N以北的地表空气温度数据集北极地区相对于中纬度观测十分有限数据最少的地方出现在格陵兰岛和北冰洋部分区域研究目的59北极缺测情况以及其所带来的影响1850年至今HadCRUT5观测覆盖情况Huanget al.(Nat.Clim.Change,2017)红色线:基于DINEOF的重建黑色线:基于Kriging的重建Morice et al.(J.Geophys.Res.:Atmos.,2021)在北极地区仍存在不足:以上资料时间分辨率较低(月资料)未使用极

    48、地观测或对观测使用不充分全球格点温度资料60基于器测观测的全球温度资料序号资料起止时间时间分辨率陆地气温资料海表面温度参考文献1HadCRUT51850-2020月CRUTEM5HadSST4Morice et al.(J.Geophys.Res.:Atmos.,2021)2GISTEMP v41880-2020月GHCN v4ERSST v5Lenssen et al.(J.Geophys.Res.:Atmos.,2019)3NOAAGlobalTemp-Interim1850-2020月GHCN v4ERSST v5Vose et al.(Geophys.Res.Lett.,2021)4B

    49、erkeley Earth1850-2020月BerkeleyHadSST4Rohde and Hausfather(Earth Syst.Sci.Data,2020)5Kadow et al.1850-2020月CRUTEM5HadSST4Kadow et al.(Nat.Geosci.,2020)6China-MST1856-2020月CLSATERSSTv5Sun et al.(Adv.Atmos.Sci.,2021)7Cowtan and Way1850-2020月CRUTEM4HadSST3Cowtan and Way(Q.J.R.Meteorol.Soc.,2014)8Vaccar

    50、o et al.1850-2020月CRUTEM4HadSST3Vaccaro et al.(J.Clim.,2021)(IPCC AR6,2021)当前北极温度资料仍存在不足:主要覆盖海洋,而陆地较少覆盖时间短,不能持续稳定更新重建基础资料误差较大或时间分辨率较低重建结果在云覆盖区域为缺测再分析数据非观测资料卫星数据非直接观测2m温度北极格点温度资料61序号资料起止时间时间分辨率空间分辨率插值方法基础资料1Martin and Munoz(J.Clim.,1997)1979-19936小时100km最优插值北冰洋沿岸陆地台站观测,浮标观测,船舶观测,NP2Rigor et al.(J.Cli

    51、m.,2000)1979-199712小时100km最优插值NCAR陆地观测、浮标观测、NP、NCEP3Huang et al.(Nat.Clim.Change,2017)1900-2014年平均5latx5lonDINEOFNOAATemp、Rigor et al.20004Dodd et al.(2019)1995-2012逐日1km基于卫星观测ATSR-2卫星观测、AATSR卫星观测等5Englyst et al.(2021)2000-2009逐日0.250.25基于卫星观测DMIEUSTACE、PROMICE站点观测、浮标观测、AASTI卫星数据基于器测观测的北极温度资料资料起止时间空

    52、间范围格点大小Mesinger et al.(Bull.Amer.Meteorol.Soc.,2006)1979-2020Mainly in North America32 km,L45Zhang et al.(J.Clim.,2016)1979-2009Arctic marginal ice zone10 km,L49Bromwich et al.(Q.J.R.Meteorol.Soc.,2016)2000-2012Most of the Arctic30 km,L7115 km,L71Dahlgren et al.(Q.J.R.Meteorol.Soc.,2016)1989-2010Mai

    53、nly in Europe22 km,L60北极区域再分析资料深度学习方法的优势:模型从训练数据中自动学习出有用特征,减少插值过程中人为假设引入的误差。模型训练完成后,参数固定,重建的结果较为稳定,能够实现实时更新。重建结果可以考虑更远区域的观测情况。北极温度重建方法62资料所用方法不足HadCRUT5Gaussian process假设高纬地区的温度变化与中纬度地区的温度变化一致GISTEMP v4Distance Weighted InterpolationCowtan and Way(Q.J.R.Meteorol.Soc.,2014)KrigingBerkeley EarthMartin

    54、 and Munoz(J.Clim.,1997)optimal interpolationRigor et al.(J.Clim.,2000)optimal interpolationNOAAGlobalTemp-InterimEmpirical Orthogonal Teleconnections重建高时间分辨率温度如日资料不够稳定China-MSTHuang et al.(Nat.Clim.Change,2017)DINEOFVaccaro et al.(J.Clim.,2021)Gaussian Markov random fields在极地地区缺乏观测约束Kadow et al.(Na

    55、t.Geosci.,2020)Deep Learning北极观测数据631.GHCN(Global Historical Climatology Network)-Daily(1979-2021)NOAA全球陆地站点数据集 最早的温度记录在1833年比利时,数据随时间更新 经过质量控制和订正2.Russian North Pole drift stations(1979-1991&2003-2012)来自AARI(Arctic and Antarctic Research Institute)的冰上的站点数据 从1937年开始,一直到1991年结束;2003年后仍有数据。较为准确的观测数据3.

    56、Buoy data(1979-2021)由IABP(International Arctic Buoy Programme)进行数据汇集 浮标首次部署于1979年,但温度主要为了校准气压计 既有地表温度观测,也有2m温度观测(2011后)4.ICOADS R3.0(1979-2021)提供1662年至今海洋观测数据 包括气温、海表面温度、海表面气压等 观测数据经过质量控制,随时间更新深度学习模型及重建流程64Liu et al.(Comput Vis ECCV,2018)x=WT(XM)sum(1)sum(M)+b,if sum(M)0 0,otherwise m=1,if sum(M)00,

    57、otherwise 气象场相邻格点间温度的联系温度场的空间分布特征观测资料质量控制订正标准化融合模型训练训练资料模型训练验证、调参测试温度重建重建验证重建输出结果分析Wang et al.(Cryosphere,2019)对比了ERA-Interim、ERA-5再分析数据在北极地区的表现。结果表明,在较冷时期,ERA-I效果较好,而在较暖时期ERA5效果更好。Jakobson et al.(Geophys.Res.Lett.,2012)对比了ERA-Interim、JCDAS、NCEP-CFSR、NCEP-DOE、NASA-MERRA再分析数据在北极地区的表现。结果表明:ERA-I效果最好。G

    58、raham et al.(Geophys.Res.Lett.,2019)对比了ERA5、ERAInterim、JRA55、CFSv2、MERRA2再分析数据在北极地区的表现。结果表明:ERA5、ERA-I效果最好。训练数据选取65Lindsay et al.(J.Clim.,2014)对比了NCEP-R1、NCEP-R2、CFSR、20CR、MERRA、ERA-Interim、JRA-25再分析数据在北极地区的表现。结果表明:ERA-I效果最好。北极探空观测数据Tara观测数据浮标观测通过对比:ERA-interim和ERA5表现最好CRU陆地站点观测数据集划分及模型训练66训练相关batch

    59、_size:50;iterations:6000损失函数:MSE为了增加泛化能力,温度场和二进制掩码随机匹配为了防止模型过拟合,每100次迭代保存模型参数并基于训练集和验证集计算误差,当模型在训练集上的误差不再下降或是在训练集上误差下降但在验证集上误差上升则停止两套再分析数据(ERA5、ERA-Interim)1979-2005年(训练集)用于模型训练,2006-2012年(验证集)用于调试模型参数以及初步评估模型的表现,2012年之后(测试集)的数据用于结果验证。将所有数据放入等面积网格,利用ERA5再分析数据对所有数据进行标准化。Module NameFilter SizeChannels

    60、StridePaddingNonlinearityPConv1771823ReLUPConv2553622ReLUPConv3557222ReLUUpSample1-72-Concat1-72+36-PConv4333611LeakyReLUUpSample2-36-Concat2-36+18-PConv5331811LeakyReLUUpSample3-18-Concat3-18+3-PConv633311LeakyReLU基于“缺测的再分析数据”重建,得到的重建结果和再分析数据高度一致。2013-2018年期间,重建结果和再分析数据的相关系数为0.997。上述结果表明,模型能够基于部分观测

    61、数据重建较为合理的北极温度。方法验证67ERA5-obsRecon1ERA5ERAI-obsRecon2ERA-I2015-03-12a、d为观测位置的再分析数据,b、e为基于a、d的模型重建结果,c、f为再分析数据。2015-07-20与观测数据的对比682011-2018年,重建结果与6个预留的观测站的相关系数分别为0.996、0.981、0.962、0.985、0.995和0.973,重建效果与两套再分析数据相当。均很接近观测的原因可能是再分析数据已经同化地面观测。DatasetsObservationReconERA-5ERA-InterimrRMSErRMSErRMSELand-1(

    62、id RSM00020891,2011-012018-12)0.9961.550.9941.790.9941.88Land-2(id CA002100402,2011-012018-12)0.9813.910.9863.900.9833.68Land-3(id USR0000ASNI,2011-012018-12)0.9622.660.9463.440.9353.50Land-4(id USW00027401,2011-012018-12)0.9852.100.9852.430.9862.10Land-5(id RSM00023975,2011-012018-12)0.9951.580.997

    63、1.350.9961.49Land-6(id NOE00134886,2011-012018-12)0.9731.680.9691.730.9900.894与陆地观测数据对比无论是RMSE还是相关系数,重建结果要优于再分析数据。与观测较为接近的原因可能是重建过程在北冰洋上考虑了浮标数据。对比时间段为2011年前,结果表明即使在重建过程中加入浮标地表温度观测,重建结果的准确度仍有较大提升。与观测数据的对比69DatasetsObservationReconERA-5ERA-InterimrRMSErRMSErRMSENP-32(2003-062004-03)0.9942.510.9855.800

    64、.9893.52NP-33(2004-092005-08)0.9862.460.9775.030.9794.15NP-34(2005-092006-05)0.9862.390.9633.830.9593.93与海洋观测数据对比北极温度变化趋势70重建结果与三个广泛使用的国际全球温度数据集温度变化较为一致。在2000-2021年间,重建结果比上述全球温度数据更高。在上述数据集中,2016年和2020年分别是第一和第二温暖的年份,比1981-2010年平均分别变暖了2.4和2.2。距平基于1981-20101979-2021北极年平均温度变化趋势1979-2021年期间,四个数据集几乎在整个北极(

    65、60N)都明显变暖。重建结果、ERA5和Berkeley Earth的结果均显示北极变暖最强地区出现在巴伦支海-喀拉海附近,而NASA GISTEMP虽然有相似的变暖特征,但变暖强度大大减弱重建结果在北冰洋中部到东西伯利亚海附近显示出较强的变暖趋势,但其他三套全球温度产品在该地区没有显著变暖北极温度变化趋势711979-2021北极年平均温度变化趋势的空间分布(a)重建结果,(b)ERA5,(c)NASA GISTEMP v4,(d)Berkeley Earth北极正处于加速变暖中,其年平均温度变化速率从0.402/10a增加到0.792/10a,近20年北极的变暖速率是1979-2000年的

    66、1.97倍北极季节平均温度变化除夏季外,其变暖强度均有大幅度提升,其中最明显的为冬季,从早期的略微变冷(-0.0440.017/10a)转为较强的变暖(1.0190.017/10a)北极温度变化趋势72不同时间段北极温升速率的对比时间尺度时间段年春季夏季秋季冬季1979-20000.4020.0110.7840.0170.3070.0090.4220.016-0.0440.0172001-20210.7920.0111.0610.0180.2110.0070.930.0131.0190.017以上结果基于重建的1979-2021年北极温度计算得到。单位:/10a北极放大效应的估计73Linea

    67、r trendsRatios of the Arctic to NHRatios of the Arctic to GL(AA)ArcticNHGLOriginalReconOriginalReconRecon0.715 0.011Berkeley Earth0.689 0.010.285 0.0030.190 0.0022.422.513.523.65GISTEMP0.626 0.010.281 0.0030.190 0.0022.232.543.263.72HadCRUT50.637 0.010.282 0.0030.190 0.0022.262.543.283.69NOAA-Interi

    68、m0.628 0.0110.278 0.0030.180 0.0022.262.573.413.89CMST2.00.662 0.010.282 0.0030.180 0.0022.342.543.683.97EM0.649 0.010.281 0.0030.189 0.0022.30 0.082.54 0.023.43 0.173.78 0.14NH:北半球;GL:全球;对于北极放大效应的估计,重建结果高于其他全球温度数据(3.780.14)报告内容智能气候预测的理念与案例基于机器学习方法的中国降水预测基于中尺度气象同化预报和深度学习的风速预报光伏电站太阳辐射超短期预报基于深度学习的北极地区

    69、格点化地表气温重建气象人工智能未来发展思考人工智能给地球系统科学研究带来新的机遇与挑战机遇挑战1.更准的目标识别2.更高的预测能力3.更快的预测效率1.可解释性2.物理一致性3.求解PDE方程4.有限的样本5.巨大的计算需求物理背景的“最后倔强”物理背景的“最后倔强”AI的应用发展很快,目前仍有发展空间,但可能有上限。AI原则上基于经验,基于大数据,就跟依据老寒腿预报天气、跟看云识天气是一样的,缺乏物理机制,虽然AI比人的智能分析和记忆力、数据量强得多。如果AI计算能力跟物理模型无限接近,估计AI可能就到头了,接近上限。把基于经验和大数据能做的“吃干用尽”,榨干“油水”,AI的应用就到头了。在

    70、计算技术和AI的强大“攻势”下,我们退守到“物理机制”这一最后的小岛上。地球系统模式中的模拟难点低分辨率大气模式过程相对简单,精度低,速度快高分辨率云解析模式过程复杂,速度慢,精度高模式模拟不确定性的重要来源:大气中的云和辐射海洋中的涡陆地中的碳大气模式中的智能参数化方案智能湿物理过程参数化方案干调整大气辐射传输动力框架22层深度残差网络(Han et al.,JAMES,2020)ResCu其它湿物理过程积云对流云微物理层状云过程边界层显式加入了湿静力能守恒约束,国际同类模式降水量相关系数仅为0.39,使用该方案大幅提高至0.85,速度比云解析方案快约30倍云解析模式结果智能方案结果偏差数据

    71、驱动的模式替代FourCastNet by NVIDIA 使用40年ERA5数据,10TB分辨率0.25度(7201440 pixels)比IFS模式快45,000 倍在Typhoon和Atmospheric River预报上表现良好值得重点关注的模型盘古气象大模型Pangu-Weather使用43年ERA5数据,hourly,30TB分辨率0.25度(7201440 pixels)AI预报能力首次超过IFS迭代预报误差累计、依赖于NWP、降水预报以物理学为基础的机器学习Principles of physics-informed learning(Karniadakis et al.,Nat

    72、ure Review Physics,2021)将物理约束融入神经网络中,不仅能减少对训练数据量的需求,还能大大提高模型的合理性和泛化能力。究竟如何在机器学习模型嵌入物理约束?网络结构网络几何残差惩罚未来的智能模式智能模式1.0版本智能模式2.0版本智能模式3.0版本智能模块替代智能模式替代数据驱动和物理驱动混合“AI+气象”的可解释性研究现阶段,深度学习模型缺乏足够的数学理论分析,针对可解释性的神经网络架构和相应的数学分析工具仍然具有较大的探索空间。气象大模型的低成本泛化与迁移研究大规模气象模型的训练过程需要庞大的计算资源,其业务化应用必须考虑泛化能力和迁移成本,这必然将朝着泛化能力更强的算

    73、子学习领域发展。物理-数据融合驱动的建模研究AI气象模型在长时序的预报中可能输出不符合基本物理约束的结果。在数据驱动的基础上引入物理约束,不仅可以增强AI模型的可解释性,还有助于提高预报能力。数值模式和人工智能相互结合和促进人工智能的快速发展给数值模式的发展提供了新的机会,例如人工智能已经在模式参数化研发、过程理解、参数估计、模式优化、模式模拟后处理和误差订正、空气质量预测、可预报性研究等方面得到广泛应用。更多圈层变量和过程的引入及AI地球系统模式发展目前,大多数AI模型只建模单个圈层变量(例如仅大气或海洋),引入多圈层相互作用对较长时间尺度的天气和气候研究至关重要,多圈层的AI模型有望解决当

    74、前次季节到季节的预报难题。气象人工智能未来发展方向 开展人工智能与气象行业相关的科研项目攻关和课题研究,推动关键技术和方法的发展,促进对气象领域基础学科的探索;参与制定和推广人工智能气象应用的技术标准和规范,确保技术的可靠性,推动相关数据和技术的标准化与规范化;促进相关科研机构、高校和企业合作,推动产学研一体化发展,推广成功的应用经验和技术成果,促进科技成果转化;开展国内外人才培养、合作与交流活动,推动人工智能技术在气象领域的理论和实践创新,提升从业人员的专业水平和技术能力。推进气象人工智能发展建议中国气象局雄安气象人工智能创新研究院中国气象学会第29届理事会成立气象人工智能专业委员会88联系方式罗 勇办公室:清华大学蒙民伟科技大楼南楼S-807固定电话:010-62788891手机号码:13911316530电子邮箱:微信号:JakeYLuoTHANKS气候-水-能源研究组Climate-Water-Energy Research Group