近期研究重心从传统的轨迹预测与模式挖掘,转向利用多模态大模型(VLA/LLM)实现端到端的交通信号控制及自主科学发现。方法论上呈现出“感知-决策”一体化、跨城市迁移学习以及兼顾隐私保护与数据效用的新趋势。
方向趋势板
每张卡片代表一个当前值得单独跟踪的研究方向,包含趋势摘要、证据化信号、反复出现的核心观点,以及可以回看的原始条目。
近期研究重心从传统的轨迹预测与模式挖掘,转向利用多模态大模型(VLA/LLM)实现端到端的交通信号控制及自主科学发现。方法论上呈现出“感知-决策”一体化、跨城市迁移学习以及兼顾隐私保护与数据效用的新趋势。
交通信号控制(TSC)对于提升城市机动性和缓解拥堵至关重要。尽管路侧摄像头在信号交叉口广泛部署,并能提供丰富的动态交通视觉观测数据,但现有的 TSC 方法通常依赖人工设计的交通状态或独立的感知模块,导致物理观测与控制决策之间存在脱节。我们提出了 VLALight,这是首个基于多视角路侧视频实现端到端交通信号控制的视觉-语言-动作(VLA)模型。VLALight 通过多目标时空交通推理和跨交叉口的拓扑感知协同感知,直接将视觉观测映射为协调的信号动作。为了建立这一能力,我们开发了一种两阶段监督冷启动训练策略,分别用于视觉交通理解和信号决策,随后采用协同智能体强化学习,联合优化局部控制和全网交通效率。此外,VLALight 引入了自适应快慢推理模式,使策略仅在额外深思熟虑能带来足够控制收益时分配更深层的推理资源。通过平衡的模式感知回滚和相对优势优化,VLALight 学会了在决策质量和推理成本之间进行权衡。在三个城市网络的七个真实世界交通流数据集上进行的大量实验表明,VLALight 始终优于基于交通工程、强化学习以及大语言模型/视觉语言模型的基线方法。消融研究验证了协同感知、网络级优化和自适应推理的有效性。这些结果展示了 VLA 模型在现实世界物理交通控制中的潜力。我们的项目代码可在 htt 获取
普适性交通规律描述了拥堵、移动性及驾驶行为在不同城市中反复出现的模式,为交通规划、管理和控制提供了科学基础。然而,此类规律的发现目前仍依赖专家主导,需从异构观测证据中识别候选规律,或通过干预实验加以验证。尽管自主人工智能(AI)系统已在受控实验室环境中推动科学发现,但将其拓展至复杂的交通领域仍具挑战。本文提出TrafficSci——一种具有代理能力的AI系统,将交通规律发现建模为一个迭代式、可审计的工作流程,整合证据范围界定、批判—判断式假设归纳,以及观测—干预式验证。在涵盖人口、网络、控制与轨迹四个尺度的四项案例研究中,TrafficSci自主重现了三条既有的交通规律,并发现了一种此前未被报道的城市驾驶行为内在时间记忆尺度;该尺度在八个城市的统计数据及两个轨迹数据集上均表现出统计一致性。TrafficSci为将AI驱动的科学发现从受控领域拓展至复杂城市系统提供了一条可行路径。
个体移动轨迹支持城市分析和基于位置的服务,然而大多数轨迹生成器需要部署城市的观测数据。这一假设排除了那些无法获取轨迹数据但可从公共地图获得兴趣点(POI)及其属性的城市。我们研究无目标轨迹生成:从源城市的 POI 和轨迹中学习,同时在目标城市仅利用 POI 坐标和类别,且在训练、模型选择或生成过程中不使用任何目标轨迹或轨迹衍生统计量。现有的轨迹生成器通常预测绝对目的地,这将可复用的移动行为与特定城市的 POI 身份及空间布局纠缠在一起。我们的核心见解是用上下文条件化的相对转移取代这种受限于城市的输出。我们提出了 Nomad,一个将“学习人们如何移动”与“确定这些移动在何处实现”分离的迁移与落地框架。具体而言,一个历史条件化的流匹配模型从源轨迹中学习关于 POI 上下文间语义位移、地理位移和经过时间的转移先验;在推理阶段,通过行为图和探索-返回游走将采样的转移落地到目标 POI 地图上。这种分解使得能够直接测试表示层面的可迁移性,而无需假设完整移动分布的不变性。在十个城市和 14 次迁移任务中进行的大量实验表明,Nomad 在轨迹保真度和下游效用方面优于适应基线方法,其在分布保真度上比各指标最佳基线的平均误差降低约 15%,在下游效用方面降低约 3%。
城市交通监测在安全分析、拥堵管理和事故响应中起着关键作用。Robotaxi(自动驾驶出租车)部署的增长为网络级交通监测提供了新机遇。尽管 Robotaxi 主要设计用于载客服务,但其也可被用作途经传感器以收集交通数据。与传统基础设施传感器或探测车辆相比,Robotaxi 车队构成了一个协同感知环境,能够集体采集时空连续的交通信息。本文提出了一种新颖的动态 Robotaxi 路径规划框架,明确将交通监测任务纳入目标函数。该框架引入了:(1) 一种与 Robotaxi 感知能力相匹配的基于单元的网络表示方法;(2) 一种用于量化 Robotaxi 时空覆盖率的单元级监测指标;以及 (3) 一种混合整数线性规划 (MILP) 模型,旨在同时最小化时变行程时间并最大化交通监测性能。研究在 SUMO 中构建了一个 5x5 的城市网格网络,并在三种 Robotaxi 市场渗透率(2%、5% 和 10%)及一系列目标权重组合下评估了该框架。结果表明,在目标函数中纳入时空网络覆盖率能有效提升交通监测性能。值得注意的是,通过合理设置两个目标之间的权重,可以同时改善监测性能和 Robotaxi 的平均速度。这表明更好的网络监测有助于更准确的交通状态预测和提升出行效率。这种双赢局面可能激励 Robotaxi 运营商贡献其车辆作为交通监测的途经传感器。
交通信号控制(TSC)在缓解拥堵和维持城市交通流动性方面发挥着核心作用。本论文提出DGLight,一种基于批评器引导的强化学习框架,用于将预训练大型语言模型适配至TSC任务。DGLight首先训练一个基于CoLight的深度Q网络(DQN)批评器,以从结构化的路口状态中估计交通感知的动作值;随后,该冻结的批评器被用于对候选语言模型动作进行打分,并利用组相对策略优化(GRPO)更新策略。所得到的控制器能够将交通状态映射为可解释的推理轨迹与信号决策,且其学习过程依赖于稠密的逐状态监督信号,而非原始的累积环境奖励。在涵盖济南与杭州的TSC基准测试中,实验表明DGLight是所比较的各类基于大语言模型(LLM)的控制器中整体性能最强的方法,同时在强基线强化学习方法中仍具竞争力,并能良好迁移到未参与批评器训练的城市数据集上。定性案例进一步表明,模型生成的推理过程具有可解释性,且与其所选择的信号相位保持一致。项目代码见 $\href{https://github.com/yyccbb/FYP_LLMTSC}{here}$。
源自移动应用的实时位置数据是应对多种城市挑战的有力工具,涵盖旅游规划、停车管理、公交线路优化及资源分配等领域;同时,该数据亦为基于位置的服务、市场份额分析和用户行为画像等商业战略决策提供宝贵洞见。本研究旨在通过系统考察智能手机用户在城市环境(特别是旅游、交通与零售领域)中的行为与模式,全面应对上述挑战。我们的方法涵盖从零构建并落地实施一个复杂的数据平台,包括用例定义、架构设计及模块实现。我们采用前沿技术与工具,包括数据匿名化、ETL流水线,并利用 Google BigQuery 与 Vertex AI 进行数据处理与机器学习模型开发。平台采用基于可复用分析构件的模块化架构,以生成支持多方利益相关者驱动型用例的数据产品。此外,我们借助 Power BI 实施交互式数据可视化,助力利益相关者高效解读分析结果。所构建模型覆盖广泛的出行分析任务,包括出行行为画像、高频轨迹挖掘、影响区域分析、交通异常检测以及起讫地(OD)模式分析。实验结果表明,该框架能够以精细的空间与时间分辨率刻画用户出行动态,为城市规划与商业战略决策提供可操作的洞察。
研究重心正从静态的多模态表征学习转向动态的、具备长程推理能力的智能体工作流,强调地理空间一致性与物理合理性。方法上出现两极分化:一方面通过“场景中心”联合建模解决数据稀缺与模态对齐问题,另一方面质疑专用架构必要性,主张利用大规模通用模型结合强化学习实现开放任务推理。
遥感多模态大语言模型(RS-MLLMs)已提升通用航拍图像理解能力。然而,地球观测应用需细粒度的场景专用能力,受限于高质量场景数据稀缺及能力覆盖不全。我们将该适配问题建模为能力缺口驱动的后训练任务,并提出“先填补,后进阶”(FBA)方法。FBA 不依赖于在目标领域样本上进行单阶段监督微调(SFT),而是先填补前置能力缺口,再推进至场景专用化。我们以海岸港口理解这一典型多源场景为例实例化 FBA,构建三层监督数据集 CPRS(Coastal-Port Remote Sensing),并设计三个有序阶段:(1)遥感语义锚定,实现俯视视角下的视觉-语言对齐;(2)领域桥接收敛,在不同模态下使目标场景与桥接场景共享遥感先验知识;(3)证据支撑的场景调优,提升下游任务性能。我们构建 HarborEval——一个涵盖感知、空间理解、鲁棒性与生成能力的八轨诊断基准。在相近训练预算下,HarborEval 分数在 LLaVA-v1.5 上由 Direct-SFT 的 57.95 提升至 FBA 的 70.29,在 Qwen3-VL 上由 81.09 提升至 83.37。FBA 同样优于 Collapsed-SFT,并在港口相关 VRSBench/RSVQA 子集及 OpenEval 上取得领先。分阶段与角色替换分析验证了能力缺口的渐进式填补及各阶段特定角色的有效性。CPRS、HarborEval、代码及训练权重的公开示例与更新发布于 https://github.com/Z0ngL1ng/filling-before-advancing。
出版日期:2026年9月 来源:《ISPRS摄影测量与遥感杂志》(ISPRS Journal of Photogrammetry and Remote Sensing),第239卷 作者:刘闯、郭建华、皮英东、吴潇、张志奇、陈儒、王欣怡、王密
遥感视觉-语言模型(Remote Sensing Vision-Language Models, VLMs)日益被期望支持对地球观测(Earth Observation, EO)数据及多种任务的开放式推理。该领域近期的多数进展依赖于面向遥感任务定制的架构设计,常引入新的编码器、对齐模块或任务特定的融合机制。本文质疑此类架构特化的必要性。我们证明,一个通用型视觉-语言模型只要在足够大规模、多样化数据与任务上进行训练,即可在具有挑战性的遥感基准测试中达到具备竞争力甚至当前最优(state-of-the-art)的性能。本模型采用单一语言策略,可直接以文本形式作答,亦可调用定位工具执行分割与空间定位(grounding)。为训练这种异构行为,我们构建了一个多任务强化学习框架,并采用覆盖多项选择型视觉问答(VQA)、自由形式视觉问答、图像描述生成(captioning)、目标检测与分割等任务的自适应任务奖励机制,输入类型涵盖广泛。本方法在一系列基准测试中均取得具备竞争力的结果,包括高分辨率、多时相、多模态与多视角任务。此外,随着训练数据规模扩大,实验显示模型在分布内与分布外的大多数任务上均呈现持续提升趋势,且性能增益与各任务所对应数据的多样性呈正相关。这些发现表明,对于遥感视觉-语言模型而言,数据规模的重要性高于架构创新。
地球观测(Earth Observation, EO)正从静态预测转向需对数据、工具及地理空间状态进行协同推理的多步骤分析工作流。尽管基础模型(foundation models)和视觉-语言模型(vision-language models)已在遥感领域推动了表征学习与语言驱动的交互能力,且智能体人工智能(agentic AI)在长程推理与工具调用方面展现出强大潜力,但EO并非通用智能体AI的简单延伸。EO工作流处理的是具有地理参考坐标、多模态且时间结构化的数据;重投影(reprojection)、重采样(resampling)、合成(compositing)与聚合(aggregation)等操作会改变底层状态,并可能制约后续分析。因此,错误可能在各步骤间隐性传播,而正确性不仅取决于内部逻辑一致性,更依赖于地理空间一致性、时间上有效的比较以及物理合理性。本文认为,这些挑战具有结构性而非偶然性。我们审视了通用智能体系统中常见的假设,分析其在地理空间工作流中的失效机制,并刻画多步骤EO流水线中的典型失效模式。随后,我们提出面向EO原生智能体的设计原则,聚焦于结构化地理空间状态建模、工具感知型推理、验证器引导式执行,以及有效性感知的学习与评估。因此,构建可靠的地理空间智能体,需围绕支配EO分析的物理约束、地理空间约束与工作流约束,重新思考智能体的设计范式。
地球观测(EO)正从静态预测转向需对数据、工具及地理空间状态进行协同推理的多步骤分析工作流。尽管基础模型与视觉-语言模型已在遥感领域推动了表征学习与语言对齐交互的发展,且智能体人工智能(agentic AI)在长程推理与工具调用方面展现出强大潜力,但EO并非通用智能体AI的简单延伸。EO工作流处理的是具有地理参考、多模态及时间结构化的数据,其中重投影、重采样、合成与聚合等操作会改变底层状态,并可能制约后续分析。因此,错误可能在各步骤间隐性传播;其正确性不仅取决于内部逻辑一致性,更依赖于地理空间一致性、时间上有效的比较以及物理合理性。本文认为,这些挑战具有结构性而非偶然性。我们审视了通用智能体系统中常见的假设,分析其在地理空间工作流中的失效机制,并刻画多步骤EO流水线中的典型失效模式。随后,我们提出面向EO原生智能体的设计原则,聚焦于结构化地理空间状态建模、工具感知型推理、验证器引导式执行,以及有效性感知的学习与评估。因此,构建可靠的地理空间智能体,需围绕支配EO分析的物理约束、地理空间约束与工作流约束,重新思考智能体设计。
多模态遥感图像对地球观测至关重要,但在实际应用中,完整的配对观测往往稀缺。现有生成方法通常通过孤立的两两模态翻译来应对该问题,但随着模态数量与生成任务种类的增加,其通用性与可扩展性仍显不足。本文提出一种面向多模态遥感影像的生成式基础模型 MetaEarth-MM,支持在统一框架下实现五种模态间的配对联合生成及任意模态到任意模态的翻译。鉴于多模态观测内在的场景一致性,MetaEarth-MM 引入一种场景中心联合建模范式:不同于以往依赖外观层面直接跨模态映射的方法,本模型以底层场景内容为核心组织生成过程。具体而言,MetaEarth-MM 采用解耦式架构,首先从已有观测中推断出潜在场景表征,再以此中间状态为条件生成目标模态图像。为支撑训练,我们进一步构建了 EarthMM 数据集——一个包含 280 万幅多分辨率全球遥感图像、其中 220 万对严格配准样本的大规模数据集。大量实验表明,MetaEarth-MM 不仅在各类生成任务中展现出强大的生成能力与鲁棒泛化性能,还能在数据级与表征级支持下游任务,凸显其作为跨模态地球观测通用基础模型的潜力。代码与数据集将发布于 https://github.com/YZPioneer/MetaEarth-MM。
近期研究重心正从单纯的遥感基础模型预训练,向具备复杂空间推理能力的视觉-语言模型(VLMs)及地理智能体范式转移。方法论上,领域关注点由通用特征提取转向解决组合感知、多尺度适配及长距离空间布局理解等具体认知瓶颈,并强调模型在公共卫生、农业等垂直领域的可解释性与实际效用。
基于区域的社会风险指数概括了居民的社会经济状况,但未能充分表征可能影响健康的地域物理特征。我们评估了四种地理空间基础模型家族基于2022年卫星数据生成的地域物理特征数值表征,是否能解释区域剥夺指数(Area Deprivation Index)、社会剥夺指数(Social Deprivation Index)和社会脆弱性指数(Social Vulnerability Index)与健康结局之间在街区(tract)层面关联中未被解释的残差变异。我们采用LightGBM模型,基于美国社区调查(American Community Survey)变量及美国疾病控制与预防中心(CDC)PLACES项目提供的40项慢性病与健康行为结局,在美国本土连续48州共82,646个普查街区上进行预测,并在10个预留州上评估模型性能。在调查变量中,模型对部分变量(如住房类型)具有中等预测能力(R²最高达0.54),但对残疾、失业及收入差距等变量预测能力较弱。在健康结局方面,模型最多可解释社会风险指数未能涵盖的54%的方差,其中年度体检、关节炎和高血压的提升最为显著。地理空间基础模型对40项健康相关结局所解释的平均总方差,随街区规模增大而增加,从小街区十分位组的0.31升至最大街区十分位组的0.39。地理空间基础模型捕捉了传统社会风险指数未能表征的、与健康相关的地域特征,有望在流行病学分析中有效补充现有指数。
地理空间基础模型已成为下游地球观测任务的最先进方法。然而,现有的预训练方法通过单一概念视角处理图像,未能捕捉复杂卫星场景的高度组合特性。我们提出了一种组合感知预训练框架,显式编码分数土地覆盖混合比例。每个卫星图像单元被映射为表示其分数土地覆盖分布的直方图,我们称之为“组合目标”。这些目标作为主要预测对象,并通过 Earth Mover's Distance 蒸馏至主干网络中。实验评估表明,组合感知预训练在需要语义相似性判断的区域级理解任务(包括零样本图像检索和场景分类)上取得了显著增益,同时在需要细粒度空间精度的任务(如分割和目标检测)上保持竞争力。凭借一个拥有 36.8M 参数的主干网络,我们的框架在大多数检索和场景分类设置中优于包含 303M 和 600M 参数的 SatMAE 和 Prithvi-EO-2.0。在用于严格测试组合判别能力的细粒度 ForestNet-12 数据集上,该方法将基线 mAP@10 从 0.279 提升至 0.434,相对提升 55.6%,为显式组合建模的有效性提供了直接证据。代码实现可在 https://github.com/05kashyap/GFM_Composition_Pretraining 获取。
众包灾害影像在传统灾害制图滞后或不完整时,提供了及时的实地观测数据;然而,其地理价值取决于观测产生的地点、解读方式以及能否被可靠地定位为可操作的地理空间情报(GEOINT)。本研究利用 PhotoMappers 这一众包灾害制图项目超过十年的数据,考察灾害信息地理格局的变化,并探讨新兴 GeoAI 模型与人类地理解读之间的差异。我们结合纵向空间分析与基于街景图像(SVI)和遥感图像(RSI)的多视角地理定位,通过涵盖地理线索与推理证据的 30 项指标评估视觉-语言模型(VLMs)的推理能力。结果显示,受灾害类型、社区生命线及运营优先级变化的影响,该档案在地理和时间分布上呈现不均衡性。将志愿地理信息(VGI)、SVI 和 RSI 与 Sinkhorn 重排序相结合,实现了 40.90% 的 R@1、61.10% 的 R@5 和 69.45% 的 R@10,但年度 R@1 波动显著,介于 25.00% 至 65.07% 之间。地理推理表现同样不均:Qwen3.6-27B 的总体一致率为 67%,高于 InternVL3-8B 的 51%;两个模型在处理局部且具地方特异性的证据时,均比处理广泛空间配置时面临更大困难。我们认为,GeoAI 的价值不在于取代志愿地理解读,而在于对其进行补充,即在扩大候选检索规模的同时,保留人类对模糊及关键案例的判断。这为构建更以人为本、负责任的灾害制图 GeoAI 提供了路径。所有数据和代码均可在 https://github.com/bobleegogogo/PhotoMappers-VLM 公开获取。
卫星与航空影像分析已随着基础模型的出现进入新纪元。本文阐述了地理空间基础模型(GeoFM)的概念,即通过多种方法在海量地理空间数据集上进行预训练的人工智能/机器学习(AI/ML)模型。我们首先阐明GeoFM所推动的核心范式转变:职责分离——大规模模型提供商承担计算密集型的预训练任务,使领域专家能够快速对这些模型进行微调或提示工程,以完成特定的关键任务。该方法在保障下游任务安全性与保密性的同时,实现了前沿AI/ML技术的普惠化访问。随后,我们探讨不同类GeoFM所解锁的新能力,区分由掩码自编码等自监督技术生成的可微调视觉模型,与由对比学习生成的视觉-语言模型;后者支持零样本任务,例如开放词汇图像分析。接着,我们讨论GeoFM实际部署中的关键考量因素,涵盖性能-成本分析及更广泛的MLOps生态系统。为此,我们提出一种模型适配策略分类法,并构建一个框架,协助领域专家为其特定任务集选择最具成本效益的适配方法。最后,我们展望“智能体地理空间推理”(Agentic Geospatial Reasoning)的未来图景:大型语言模型(LLM)作为智能编排器,将GeoFM作为工具,以自然语言响应高层用户查询,并自动化复杂的分析工作流,推动该领域从感知迈向认知。
评估农业潜力是可持续土地管理与农业规划的基础。遥感数据正日益成为评估农业潜力的重要手段,因其相较传统方法(如实地调查、原位测量、土壤检测等)更具成本效益。ImageCLEF AI4Agri 2026挑战赛子任务1聚焦于法国南部葡萄栽培潜力的预测。DS@GT ARC团队在该子任务中的参赛方案提出了一种U-Net与地理空间基础模型(Prithvi-2.0)的集成方法。本方案最优模型在排行榜上达到±1精度68.32,位列7支参赛队伍中的第2名。本工作的实现代码已公开发布于https://github.com/dsgt-arc/imageclef-ai4agri-2026。
理解休耕地的空间分布对优化食物-水(FW)纽带至关重要,因其在作物轮作与水资源保护中发挥关键作用。休耕地在美国农业部作物土地数据层(USDA Cropland Data Layer, CDL)中属于低精度类别。地理空间基础模型(Geospatial Foundation Model, GFM)Prithvi-EO 在多种计算机视觉任务中展现出强迁移能力。然而,其视觉Transformer(ViT)骨干网络仅在单一空间尺度上生成特征,难以满足目标检测头对多尺度特征的需求。现有方法通过缩放单步长(single-stride)token构建多尺度金字塔,但牺牲了空间异质性;而对整个骨干网络进行微调在计算上对GFM而言不可行。我们评估了一种休耕地检测流程,该流程融合两种参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)策略:低秩适应(LoRA)与一种混合PEFT,并结合三种颈部(neck)设计:伪多尺度(pseudo multi-scale)、轻量级ViT-Adapter(Lite ViT-Adapter)与全量ViT-Adapter(Full ViT-Adapter)。最优配置——采用Lite ViT-Adapter与单阶段检测头、并使用Diou损失函数——实现了0.9479的mAP@50,表明中心感知定位对不规则休耕地田块检测的有效性。在LoRA下、无ViT-Adapter的单阶段检测相较无Adapter的锚点式基线方法提升6.42%;最优配置相较该基线方法提升25.70%。结果表明,轻量级空间先验融合与选择性骨干网络解冻,可使Prithvi-EO更有效地捕获局部休耕地模式,性能优于依赖重整形单步长ViT token的方法。
研究重心正从依赖单一街景图像(SVI)的视觉评估,转向融合多源上下文数据、大语言模型及跨视角学习的综合感知建模,以解决数据覆盖不均问题。同时,学术界日益关注数据源选择带来的偏差及其对规划公平性的影响,强调从“技术精度”向“决策可靠性”与“以人为本的情感对齐”转变。
围绕实验室五个研究方向整理的研究日报 PDF,包含头版综述、方向趋势与当日延伸阅读。