1. 引言
气象预报在保障人类社会安全和促进经济发展方面发挥着至关重要的作用。准确的天气预报不仅能够助力农业规划、优化交通管理,还能有效预防自然灾害,减少由暴雨引发的洪水和滑坡等灾害带来的损失。此外,极端高温的及时预警对于维护公共健康和确保能源供应的稳定同样至关重要。尽管传统的数值天气预报模型在过去几十年里取得了显著的进步,但它们仍面临着参数化不确定性、物理过程简化偏差、数据同化误差和数值求解误差等多重挑战,这些问题短期内难以完全解决。
近年来,随着人工智能(AI)技术,特别是机器学习(ML)和深度学习(DL)在图像识别和自然语言处理等领域的突破,AI在天气预报领域的应用已成为提高预报准确率的重要手段。例如,上海人工智能实验室开发的风乌气象大模型[1]、复旦大学的伏羲气象大模型[2] [3],以及华为公司的盘古气象大模型[4] [5]等,都通过整合和学习海量气象数据中的复杂模式,显著提升了预报的精度和效率,并减少了对高性能计算资源的依赖。
在数值天气预报方面,AI技术可以通过改进模式物理表达和订正模式误差来提高预报精度。具体来说,马雷鸣等[6]提出了改进对流参数化方案的方法,通过识别影响对流触发的物理因子,提高了对流参数化的准确性。Ma和Tan [7]也通过研究对流触发机制,改进了对流参数化方案,进一步提升了数值预报的精度。孙健等[8]利用机器学习方法对数值模式的误差进行了订正,显著提高了预报精度。
在气象灾害预警方面,AI技术同样表现出色。朱岩等[9]基于Xgboost算法建立了重庆地区的短时强降水预报模型,显著提高了预报精度。AI技术在强对流天气的监测、预警及预报中表现出色,能够提高对暴雨、雷暴等灾害性天气的预测精度。杜智涛等[10]利用机器学习方法对强对流天气进行了识别和预警,取得了较好的效果。黄建平等[11]利用深度学习方法,建立了全球范围内的台风路径预测模型,能够在长时间尺度上提供高精度的台风路径预报。Han等[12]也通过深度学习技术提高了台风路径预测的准确性。
在气候模拟与预测方面,AI技术同样发挥了重要作用。李双林等[13]利用AI技术对长期气候变化进行了研究,帮助科学家更好地理解全球变暖等现象的影响机制,预测未来的气候趋势。Liu等[14]通过深度学习方法对全球气候变化进行了模拟,提供了有价值的预测结果。黄小猛等[11]通过AI技术优化了气候模型中的参数化方案,提高了模型的准确性和稳定性。Schumacher等[15]利用深度学习技术改进了气候模型的物理参数化,进一步提升了模型的预测能力。
尽管AI技术在天气预报领域取得了显著成就,但在实际应用中仍面临一些挑战。数据质量是AI模型训练的基础,但实际应用中数据的质量和完整性往往存在问题。杜智涛等[7]指出,由于监测设备故障或维护问题导致的数据缺失,气象数据可能存在缺失、不准确或不完整的情况,还可能受到环境干扰或技术限制而带有噪声,这会干扰模型的学习过程,影响模型的训练和预测准确性。张峰等[16]强调,目前的AI模型以海量数据为基础,但这些数据主要来自传统的数值天气预报模型,单一数据源的不足也会影响模型的性能。AI模型的“黑盒”特性使得模型的解释性和可解释性较差,限制了其在实际应用中的可信度。Durran等[17]指出,缺乏对模型内部运作机制的理解,使得模型在实际应用中难以被完全信任。大规模的AI模型训练需要大量的计算资源,这对硬件设备提出了较高要求。Karlbauer等[18]指出,深度学习模型的训练需要高性能的计算设备,这对于许多研究机构和气象部门来说是一个挑战。
本文旨在综合评述国内AI中期预报大模型的最新发展和贡献,分析它们在提升预报准确性、处理大规模数据和应对复杂气象现象方面的优势。文章还将探讨这些模型发展过程中遇到的主要挑战,并对未来的发展趋势进行展望,旨在为气象预报领域的研究和实践提供有价值的参考和启示。
2. 风乌气象大模型
2.1. 创新点
风乌AI气象大模型,由上海人工智能实验室AI for Earth联合团队于2023年3月开发该模型的主要创新和贡献包括:
2.1.1. 多模态多任务学习方法
风乌模型采用多模态方法处理多种气象数据,如温度、湿度、风速等,每种数据类型都被赋予独特的特征表示。该模型将天气预报视为一个多任务问题,这种方法允许系统独立处理不同的大气变量,并将它们作为不同的模态来学习,并通过跨模态融合Transformer技术来协调不同大气变量间的相互作用。这种方法的优势在于其能够充分考虑数据的多样性,并利用不同气象变量间的互补信息,以全面提升对大气状态的理解和预测能力。
2.1.2. 不确定性损失函数在多任务优化中的应用
传统的多任务学习依赖于手动分配任务权重,这种手动分配存在不能反映变量之间真实的不确定性关系的问题,而风乌模型采用不确定性损失函数,通过概率模型自动学习这些权重。该模型预测每个变量的高斯分布参数(均值和方差),并通过最大似然估计优化模型参数。这种方法允许模型自动权衡不同变量和预测任务的重要性,提高了学习效率和预测准确性。
2.1.3. 重放缓冲机制(Replay Buffer Mechanism)的应用
为了应对自回归推理中的误差累积问题,风乌模型引入了重放缓冲机制。该机制存储中间预测结果,并将其用于后续训练步骤,而非仅依赖原始数据。这种模拟长期预测的过程使模型能够从先前的预测中学习,并维持多步预测的准确性。此外,重放缓冲机制通过在CPU上存储数据,有效减少了GPU内存的使用,提高了计算效率。
2.2. 风乌模型在气象预报中的表现
风乌模型在预报精度、预报时效和计算效率三方面取得了不错的成绩:
1) 预报精度:在与GraphCast模型的对比测试中,风乌模型在80%的预测变量上实现了更高的准确性。特别是在全球500 hPa位势高度(z500)的240小时预报中,风乌模型将均方根误差(RMSE)从733 m²/s²降至651 m²/s²,这一改进显著提升了预报的精确度。此外,在提前120小时的台风路径预报中,风乌模型的误差值仅为121.4公里,相较于欧洲中期气象预报中心(ECMWF)的293.8公里,显示出更高的准确性。
2) 预报时效:风乌模型在预报时效方面也取得了突破。以ACC (平均一致性系数)大于0.6作为高精度预报的标准,风乌模型将500 hPa高度场(Z500)和2米温度(T2m)的高精度有效预报时间分别延长至10.75天和11.5天。这一成果意味着风乌模型能够提供更长时间的可靠预报,为决策者提供了更大的灵活性和准备时间。图1展示了风乌模型在500 hPa高度场随时间延长的预报表现,进一步证明了其在预报精度上的稳定性和可靠性。
Figure 1. Prediction performance of Fengwu model at 500 hpa altitude field with time extension
图1. 风乌大模型在500 hpa高度场随时间延长的预报表现
3) 计算效率:在计算资源方面,风乌模型展现了卓越的效率。在NVIDIA Tesla A100硬件平台上,模型的每次迭代推理成本仅为600毫秒。这一性能表明,风乌模型不仅保持了高精度的预报能力,而且在计算效率上也具有明显的优势,这对于需要快速响应的气象预报服务尤为重要。
3. 伏羲气象大模型
3.1. 创新点
伏羲气象模型是由复旦大学人工智能创新与产业研究院团队在2023年11月开发的AI天气预报模型,它的主要贡献和创新点有:
1) 级联机器学习(ML)模型架构
伏羲模型采用了一种独特的级联架构(图2),其中每个模型的输出作为下一个模型的输入,形成一系列模型链。这种设计允许每个模型专注于特定时间范围的预报,如短期、中期或长期,从而减少了长期预报中可能累积的误差。伏羲模型通过这种架构能够预测长达15天的天气情况,由三个专门优化的模型组成:FuXi-Short负责0至5天的预报,FuXi-Medium负责5至10天的预报,而FuXi-Long则负责10至15天的预报。每个模型都在其特定的时间范围内进行训练,以更精确地捕捉气象特征和动态。这些模型的输出最终被整合,以提供全面的长期预报。
级联ML架构的优势在于:
Figure 2. Fuxi model cascading ML model architecture
图2. 伏羲模型级联ML模型架构
减少误差累积:预报任务的分解使得每个模型能够专注于短期预报,有效减少长期预报中的误差。
提高预报精度:每个模型针对特定时间范围的优化,提升了相应时间段内的预报精度。
模块化设计:级联架构的模块化特点使得系统构建和改进更为灵活,每个模型可以独立开发和调整。
专业化处理:模型能够针对不同时间尺度的数据进行专业化处理,提高了系统的整体效率和准确性。
2) 纬度加权L1损失函数的应用
伏羲模型引入了纬度加权L1损失函数,以考虑地球不同纬度对预报的不同影响和重要性。该损失函数通过为不同纬度赋予不同的权重,优化模型的预测性能。这种设计使得模型能够适应不同纬度地区的气候条件和天气模式,提高对全球各地天气变化的预测能力。
在损失函数中,
表示在时间步长
时,变量C在纬度i和经度j位置的预测值,而
表示同一条件下的真实值或地面实况数据;
表示纬度处的权重,权重
随着纬度的增加而减小,反映了模型在计算损失时对低纬度地区数据的更高重视。L1损失函数通过计算预测值与真实值之间差异的绝对值的平均值,展现了对异常值的鲁棒性。纬度加权损失函数的引入使得损失函数能够更好地反映不同地理位置对气象预测的重要性,从而帮助模型更准确地学习和预测。
3.2. 伏羲模型在气象预报中的表现
在热带气旋(TC)预报方面:在使用IBTrACS (美国国家海洋和大气管理局(NOAA)全球热带气旋最佳路径数据集)和ERA5数据集(欧洲再分析数据)作为初值评估TC路径预报时,FuXi和FuXi-Extreme在TC路径预报方面均优于HRES。在TC强度预报方面,FuXi和FuXi-Extreme在利用IBTrACS数据集作为初值时预报准确性低于HRES,但利用ERA5数据集作为初值预报效果则优于HRES。
在降水量预报方面,FuXi在小到中等降水阈值的预报中表现优于HRES,但在极端降水事件,如日降水量超过62.5毫米和70毫米时,FuXi的准确性则不如HRES。这说明FuXi在处理较小降雨事件的预报上具有较强的能力,但在预测极端降水事件时没有表现出明显的优势。
在风速预报方面,FuXi-Extreme在10 m风速低于13.8 m/s预报时,领先优势明显且CSI (关键成功指数)较高,但在超出13.9 m/s (7级)风速预报时,尽管还是领先于HRES,但CSI (关键成功指数)在48小时均下降至0.5以下,这表明其极端风速预报离业务可用还有差距。
4. 华为盘古气象大模型
4.1. 创新点
华为盘古气象模型是华为公司在2022年开发的先进的AI天气预报模型,它在天气预报领域带来了显著的创新和改进。以下是该模型的主要贡献和创新点:
1) 三维地球特定变换器(3D Earth-Specific Transformer,简称3DEST)的应用:
3DEST是一种深度学习架构,专门为全球天气预报设计,能够更好地捕捉和处理三维空间中的气象数据,包括纬度、经度以及通过压力层表示的高度。
与传统的二维卷积神经网络(CNN)相比,3DEST能够直接处理三维数据,将气象数据视为一个包含地球表面纬度和经度网格以及不同大气压力层数据的三维体。3DEST在设计时考虑了地球的曲率和各向异性特性,使得模型能够更准确地理解地球表面的空间分布和不同高度层面之间的相互关系。
2) 分层时间聚合算法的应用:
为了解决AI模型在中期天气预报中因迭代次数增加而导致的迭代误差迅速上升的问题,盘古气象模型的研发团队提出了分层时间聚合算法。
该算法通过训练四个不同预报间隔的模型(1小时、3小时、6小时、24小时间隔),并使用贪心算法调用这些模型,以最小化预测特定时间气象状况的迭代次数。这种方法不仅减少了迭代误差,还避免了递归训练带来的训练资源消耗,提高了模型训练的效率和稳定性。
盘古气象模型的这些创新使其在天气预报的准确性和计算效率方面取得了显著进步。模型能够更精确地处理复杂的三维气象数据,并通过优化算法减少了长期预报中的误差,这些特点使得盘古气象模型在天气预报领域具有重要的应用价值和潜力。
4.2. 盘古气象大模型在气象预报中的表现
盘古气象大模型在实际气象预报中的表现表现出色,特别是在预测高空气象变量和地表气象变量方面的准确性和提前量。以下是对盘古气象大模型实际预报表现的总结:
高空气象变量的预测:在Z500、T850、T500、Q500、U500、V500等高空气象变量的预测上,盘古气象大模型的测试精度在所有预测时间点上均领先于欧洲中心中期预报系统(operational IFS)。盘古气象大模型相比operational IFS的均方根误差(RMSE)相对降低了超过10%,显示出更高的预测精度。盘古气象大模型的“预测时间收益”相当于比operational IFS多出10~15小时的准确预测时间,即在预测精度相当的情况下,盘古模型能提供更长的预报时效。
地表气象变量的预测:在2米温度(T2m)、10米经度方向和纬度方向风速(U10和V10)的预测上,盘古气象大模型的测试精度稳定地高于operational IFS。盘古气象大模型相对于operational IFS的精度提升相当于超过18小时的“预测时间收益”。
极端天气事件的预测:盘古气象大模型(Pangu-Weather系统)在极端天气事件的预报上表现出强大的能力,特别是在追踪热带气旋(台风和飓风)方面(图3)。Pangu-Weather系统能够有效捕捉和预测极端天气的特征和路径,与ECMWF-HRES相比,显示出更为精确的预测结果。
以台风Yutu为例,Pangu-Weather提前6天就准确预测了气旋将前往菲律宾,而ECMWF-HRES则在气旋登陆前48小时才得出正确结论,这展示了盘古气象大模型在提前预测极端天气事件方面的显著优势。
Figure 3. Pangu-Weather and ECMWF-HRES tracked the eye of Hurricane Michael (2018-13) in 2018 and Typhoon Maon (2022-09) in 2022, and compared it with ground truth from the global tropical cyclone track dataset. Right: Diagram showing the Pangu-Weather tracking process, locating the eye by comparing mean sea level pressure, 10-meter wind speed, thickness between 850 hPa and 200 hPa, and vorticity of 850 hPa. The figure on the left shows the comparison of the 72-hour forecast time (the forecast of the cyclone’s eye is indicated by the end of the arrow)
图3. Pangu-Weather和ECMWF-HRES对2018年的飓风Michael (编号2018-13)和2022年的台风Ma-on (编号2022-09)气旋眼的追踪结果,并与全球性热带气旋轨迹数据集提供的地面实况进行了比较。右图:展示了Pangu-Weather追踪过程的示意图,通过对比平均海平面气压、10米风速、850 hPa和200 hPa之间的厚度以及850 hPa的涡度来定位气旋眼。左图为72小时预报时效两者预报结果对比(气旋眼的预报用箭头尾部表示)
5. 国内AI中期预报大模型的共同特点
国内AI气象大模型有以下几个共同特点:
1) 采用“自回归”进行预测
AI气象大模型使用自回归方法进行预测,这种方法利用历史资料中的时空特征来推断未来的发展趋势。自回归模型不需要处理序列数据中的每个时间步,从而减少了计算量,提高了运算速度,并且可以灵活调整时间间隔,减少迭代过程中的误差累积,有利于提高长期预报的准确性。与传统的循环神经网络相比,自回归模型在处理长序列数据时更为高效。
2) 数据训练集的相似性
AI中期预报模型主要依赖于ERA5和美国NECP等再分析数据集作为历史数据进行训练。
在进行预报试验时,模型通常选取再分析数据作为初值,而不是使用经过数据同化处理的实际观测数据。
3) 计算效率的显著提升
AI气象大模型需要依赖高性能计算资源,如超级计算机或云计算平台,以支持复杂的算法和大规模数据处理,这些模型的计算效率比传统预报方法快得多,能够在短时间内(几秒钟)生成预报结果,提高了预报的时效性。
4) 比传统数值预报的准确度显著提升
与欧洲数值预报中心的10天内预报结果相比,AI大模型在常规高空要素(如Z500、U500、V500)和地面要素(如T2m、U10、V10)的预报准确度上都有显著提升。
在台风路径预报方面,AI大模型的距离偏差也明显小于欧洲预报中心的结果。
6. AI气象大模型面临的挑战
尽管AI气象大模型在常规气象要素预报和部分极端天气事件预报方面展现出了卓越的能力,甚至在高空常规要素预报方面超越了目前最先进的欧洲数值预报系统,但在其发展和应用过程中仍然面临着一系列挑战:
1) 初始场的高度依赖性
AI气象大模型目前严重依赖于传统物理模型生成的再分析数据集,如欧洲的ERA5和美国的NCEP所提供的资料。这些再分析数据同样作为传统模型的初始场,若缺乏这些高质量的数据支撑,AI模型的预报效果将大打折扣,其独立性和泛化能力受到质疑。
2) 极端天气事件预报的瓶颈
极端天气事件,如强烈热带气旋、极端暴雨等,因其低频性和复杂性,导致可用于训练AI模型的历史数据极为有限。这种数据稀缺性严重制约了模型对极端事件的学习和理解能力。同时,极端天气事件涉及的大气动力学和物理过程极具非线性特征,使得AI模型难以准确捕捉和模拟其发展和演变过程,进而影响预报人员的信心,成为AI模型在气象台站大范围应用的绊脚石。
3) 数据同化技术的缺失
实时数据同化是传统数值预报的核心环节,它能够将最新的观测数据融入模型中,以更新和改进预报。然而,AI气象大模型目前主要依赖再分析资料作为初始场,未能充分利用实时观测数据,导致无法完全捕捉实时天气变化。此外,数据同化涉及复杂的数学和物理过程,AI模型在处理这种复杂性方面尚显稚嫩,需要进一步的研究和开发。
4) 高分辨率数据处理的难题
地球系统的复杂性和非线性特征给AI气象大模型在处理高分辨率观测数据时带来了巨大挑战。目前,AI模型在处理超过0.25˚分辨率的格点资料时仍显力不从心,这意味着模型可能无法捕捉到更小尺度的天气现象,如局部对流、山谷风、飙线等。这些现象对于局部天气预报和气候研究至关重要,因此AI模型在高分辨率数据处理方面的能力亟待提升。
7. 总结和讨论
在气象预报领域,传统数值天气预报方法基于物理规律,无需依赖大量训练数据,而AI气象大模型则以其快速的推理能力和较低的计算资源需求,展现出独特的优势。两者之间的关系并非替代,而是相辅相成。当前,AI气象大模型在可解释性、极端天气事件预报能力以及实时数据同化等方面仍面临挑战,因此,讨论AI气象大模型完全取代传统数值预报尚处于初期阶段。未来,若AI大模型在以下几个关键领域取得突破,将极大促进天气预报准确率的提升。
1) 数据同化技术的优化
AI气象大模型在数据同化方面的创新将是提升预报准确率的关键。未来的AI模型将能够更智能地整合来自不同来源的气象数据,包括卫星、雷达、地面观测站等,实现数据的高效融合。通过深度学习算法,AI模型可以自动识别并修正数据中的误差,提高初始场的准确性。此外,AI模型还可以根据实时观测数据动态调整模型参数,实现模型的实时优化,从而进一步提高预报的时效性。这一过程对于提高预报的初始场质量至关重要,需要AI气象大模型具备高效的算法和强大的计算平台支持,同时确保模型的物理假设与实际观测数据的一致性。
2) 不同极端天气模块的构建
针对极端天气事件的预测,AI气象大模型将展现出其独特的优势。通过扩充训练样本和提高训练质量,AI模型将能够更准确地捕捉极端天气事件的特征和规律。未来的AI模型将开发专项预测模块,针对热带气旋、暴雨、对流天气、极寒、热浪等高风险事件进行精细化预报。这些模块将利用AI的强大数据处理能力和模式识别能力,提高对这些罕见事件的预报精度和时效性,为防灾减灾提供有力支持。例如,针对热带气旋,AI模型可以通过学习历史台风路径和强度变化,提高对台风路径和强度的预报精度;针对暴雨和对流天气,AI模型可以通过分析雷达回波和卫星图像,提前识别对流系统的生成和发展趋势。
3) 多尺度气象预报系统的构建
AI气象大模型将推动多尺度气象预报系统的构建。传统的数值天气预报方法往往难以兼顾不同时间和空间尺度的气象变化,而AI模型则可以通过学习大量历史数据,捕捉不同尺度气象变化之间的关联性和规律性。未来的AI气象预报系统将能够实现从全球到局部、从长期到短期的多尺度预报,为不同领域和行业提供更加精准的气象服务。例如,全球尺度的预报可以用于气候研究和长期规划,而局部尺度的预报可以用于城市管理和应急响应。这种多尺度预报系统将显著提高气象预报的实用性和覆盖面。
4) 气象预报与人工智能的深度融合
随着AI技术的不断进步,气象预报与人工智能的深度融合将成为趋势。未来的AI气象模型将不仅仅是一个预报工具,而是一个集数据收集、处理、分析、预报和决策于一体的智能系统。这个系统将能够实时监测气象变化,快速响应突发事件,为政府决策、农业生产、交通运输等领域提供及时、准确的气象信息支持。例如,智能系统可以通过实时分析卫星和地面观测数据,自动检测到异常天气现象,并立即发出预警,帮助相关部门采取及时措施。此外,智能系统还可以通过数据分析,提供定制化的气象服务,满足不同用户的需求。
未来的研究需要在以下几个方面进行创新:
1) 增强模型可解释性
探索并开发前沿的算法与技术,旨在显著提升AI模型的可解释性与透明度,确保气象专家能够深入洞察并充分信赖模型的预测成果。这包括运用先进的可视化手段,直观展现模型内部的决策路径与逻辑结构,从而助力用户精准把握模型的预测机理,促进模型预测结果的有效沟通与理解。
2) 提升数据质量与多样性
致力于优化数据采集与处理的流程,确保数据的精确性、广泛性和代表性。通过运用多源数据融合策略,巧妙整合来自不同渠道、类型的数据资源,进一步增强模型的稳健性和泛化性能,使其能够在更为复杂多变的气象环境中保持高精度预测。
3) 降低训练成本和资源的消耗
研发高效的计算架构与算法,力求大幅度削减模型训练与推理过程中的计算负担,为AI气象模型在更广泛场景下的部署与应用扫清障碍。例如,借助分布式计算与云计算的强大能力,实现海量数据的高速处理与分析,为模型的快速迭代与优化提供坚实支撑。
4) 跨学科深度合作
积极推动气象学、计算机科学、数学等多个学科间的深度融合与合作,共同应对气象预报领域面临的诸多挑战。通过跨学科团队的紧密协作,激发创新灵感,加速技术突破,不断拓展AI气象模型的应用边界,为气象预报的精准度与效率带来革命性提升。
随着AI技术的持续飞跃,AI气象模型有望在未来实现突破性进展,从而彻底革新天气预报领域,使之迈向更高层次的准确性与效率,并更加精准地贴合各类特定需求。这些显著的进步不仅将极大增强我们对日常天气变化的精准预测能力,还将显著提升我们在面对极端天气事件时的应对韧性与适应能力。更重要的是,它们将引领我们更深入地探索和理解地球气候系统的复杂运作机制,为我们的气候科学研究开辟全新的视野。