复旦大学等研究团队首次开发体育空间智能基准

复旦大学、上海人工智能实验室、上海交通大学等多家知名高校和研究机构联合完成的这项研究发表于2026年的arXiv预印本平台，论文编号为arXiv:2603.09896v1。有兴趣深入了解的读者可以通过这一编号查询完整论文。

当我们观看体育比赛时，仿佛拥有一种天生的"超能力"——能够瞬间判断球员之间的距离、球的高度、谁离球更近等空间关系。然而，让计算机也具备这样的空间理解能力，却是一个极其复杂的挑战。

这支研究团队就像一群雄心勃勃的工程师，决定教会AI模型如何像资深体育解说员一样，准确理解和描述球场上发生的一切空间关系。他们的目标听起来简单，实际上却极具挑战性：让AI不仅能看到画面中的球员和球，还能精确测量它们之间的距离，判断位置关系，甚至预测运动轨迹。

为了实现这个目标，研究团队创造了一个名为CourtSI的大型数据集，包含超过100万个问答对，覆盖羽毛球、网球和乒乓球三大运动项目。同时，他们还开发了CourtSI-Bench评测基准，包含3686个经过严格人工验证的高质量问答对，用于测试AI模型的空间理解能力。

这项研究的创新之处在于，它首次将体育场景引入空间智能研究领域，并开发了一套半自动化的数据生成引擎，能够精确重建三维运动场景。研究团队发现，即使是最先进的AI模型，在理解体育场景中的空间关系时仍存在明显不足，与人类水平相比还有很大差距。

通过对25个主流AI模型的全面评测，研究揭示了当前空间智能技术的局限性，并证明了专门针对体育场景的训练能显著提升模型性能。这一发现对于推动AI技术在体育分析、自动解说、运动训练等领域的应用具有重要意义。

一、破解体育AI的"空间迷题"

体育运动天生就是一个三维空间的游戏。球员在场地上奔跑、跳跃，球在空中划出优美的弧线，每一个瞬间都蕴含着丰富的空间信息。对于人类观众来说，判断"哪个球员离球更近"或"球的高度有多少"似乎是本能反应，但对AI来说，这却是一道极其复杂的空间几何题。

传统的AI模型就像一个只会看平面图的建筑师，虽然能识别出画面中的各种元素，但很难理解它们在三维空间中的真实关系。当面对体育场景时，这种局限性变得尤为明显。球员可能在画面中看起来很近，实际上却相距甚远；球可能看似静止，实际上正在快速移动。

更具挑战性的是，体育场景具有高度的动态性和复杂性。球员的身体姿态千变万化，球的运动轨迹难以预测，加上摄像机角度和距离的变化，使得空间理解变得更加困难。这就像要求一个人仅凭观看二维照片，就准确判断一个复杂立体雕塑中各个部分的真实空间关系。

现有的空间智能研究主要集中在静态场景和刚性物体上，对于人体这样的非刚性、多关节对象缺乏足够关注。人体在运动时会发生复杂的形变，肢体之间存在关节约束，这些特征都增加了空间理解的复杂度。而体育场景恰恰以人体运动为核心，这使得传统方法难以直接应用。

研究团队意识到，要让AI真正理解体育场景，就必须开发专门针对动态人体运动和球类轨迹的空间智能技术。这不仅是技术挑战，也是推动AI向更高层次发展的重要一步。毕竟，如果AI能够准确理解复杂的体育场景，那么它在其他需要空间推理的任务中也将表现得更加出色。

二、巧妙利用球场几何的数据引擎

面对从二维图像重建三维场景这一技术难题，研究团队想出了一个巧妙的解决方案。他们意识到，体育场地本身就是一个天然的"标尺"——每个球场都有标准化的尺寸和固定的几何结构。

这个发现就像找到了一把万能钥匙。羽毛球场、网球场、乒乓球台的尺寸都是国际标准化的，场地线条、网的高度、各区域的划分都有精确规定。研究团队将这些标准化的几何信息作为"度量锚点"，开发了一套半自动化的数据引擎，能够从单张图像中精确重建三维场景。

这套数据引擎的工作原理可以比作一个经验丰富的测量师。首先，系统会识别出图像中的球场关键点，比如底线的四个角点和球网上的两个高度点。然后，利用这些已知的三维坐标，通过透视几何原理反推出摄像机的内外参数。这个过程就像通过观察建筑物的影子来推算太阳的位置一样，利用已知信息来推导未知参数。

对于球的位置标注，研究团队采用了一种直观的标注方式。由于球通常很小，传统的深度估计方法往往不够准确，团队开发了一个交互式工具，让标注员点击球的二维位置和它在地面的投影点。系统会自动计算出一条从摄像机到球的三维射线，然后根据投影关系确定球的精确三维位置。这种方法既直观又准确，大大降低了标注的复杂度。

在人体姿态重建方面，团队使用了最先进的PromptHMR方法，能够恢复出详细的人体网格模型。但他们发现，直接使用的深度估计往往不够精确，球员可能出现"悬浮"或"沉入地面"的问题。为了解决这个问题，他们采用了类似球位置标注的策略，让标注员手动校正人体模型最低点的高度，然后使用透视变换将整个人体模型调整到正确的深度位置。

通过这种巧妙的设计，数据引擎能够达到厘米级的重建精度。在严格的质量控制下，整个流水线在多视角验证集上表现出色，为后续的大规模数据生成奠定了坚实基础。这套引擎不仅技术先进，更重要的是具有很好的可扩展性，能够处理不同运动项目和摄像机视角的场景。

三、构建空间智能的"教科书"

有了精确的三维重建技术，研究团队接下来面临的挑战是：如何将这些三维信息转化为AI可以学习的知识？这就像要为AI编写一本关于空间理解的"教科书"，需要系统性地涵盖各种空间推理技能。

团队设计了一套全面的空间智能分类体系，将复杂的空间理解任务分解为四个核心类别。第一类是空间计数，这听起来简单，但在动态的体育场景中却不容易。比如判断场上有几名球员，或者球是否在画面中可见，都需要AI具备准确的目标检测和场景理解能力。

第二类是距离测量，这是空间智能的核心技能。AI需要能够准确计算摄像机到球员的距离、球员之间的距离、球到场地线条的距离等各种度量关系。这些距离不是简单的二维像素距离，而是真实的三维世界距离，要求以米为单位给出精确数值。

第三类是定位任务，要求AI能够在三维坐标系中准确确定对象的位置。这就像给AI一个三维地图，让它准确标出每个球员和球的坐标。这项任务特别有挑战性，因为它不仅需要理解空间关系，还需要掌握坐标系的概念。

第四类是关系推理，这可能是最复杂的一类任务。AI需要理解各种空间关系，比如判断哪个球员离球最近、球在场地的哪个区域、从某个球员的视角看另一个球员在左边还是右边等。这些任务需要AI具备类似人类的空间认知能力。

为了确保训练数据的多样性和全面性，研究团队设计了94个不同的问题模板。这些模板就像不同类型的练习题，涵盖了数值计算题和选择题两种形式。每个问题都配有详细的说明和标准答案格式，确保AI能够学会规范的回答方式。

特别值得一提的是，团队充分利用了人体网格重建的优势，设计了大量关于人体细节的问题。比如询问球员的头部高度、左脚位置、右手坐标等，这些精细化的问题帮助AI学会理解人体的复杂空间结构。这种细粒度的标注在以往的数据集中是很难见到的。

最终，CourtSI数据集包含了超过100万个问答对，来自52481张图像和1057个独特场景。为了确保评测质量，团队还精心构建了CourtSI-Bench评测基准，包含3686个经过人工验证的高质量问答对，覆盖382个不同场景。这个基准就像一套标准化考试题，能够客观评估不同AI模型的空间理解水平。

四、AI模型的"空间大考"

当这套全面的空间智能测试题准备完毕后，研究团队开始了一场规模浩大的AI模型评测。他们邀请了25个不同的AI模型参加这场"空间大考"，其中既有商业化的顶级模型，也有开源的研究模型，还有专门针对空间智能训练的特殊模型。

测试结果令人深思。即使是人类评测员，在面对这些空间推理题时也并非轻松胜任。特别是在需要精确距离测量和绝对位置定位的任务上，人类的表现也会明显下降。这说明即便对人类而言，基于二维图像的三维空间推理也是一项具有挑战性的认知任务。

在商业化模型中，Gemini-3-Pro表现最为出色，在大多数指标上都接近人类水平。但令人意外的是，这些顶级模型在指令遵循方面表现不佳。它们经常生成冗长的解释文字，而不是按要求输出简洁的答案格式。只有在使用额外的文本解析工具处理输出后，它们的表现才显著提升，这暴露了控制化回答生成方面的不足。

开源模型的表现则普遍不理想，大多数模型的整体准确率都低于40%。在距离测量任务上，一些模型甚至出现了近乎完全失效的情况，即使使用宽松的评测标准也难以取得合格分数。这表明开源模型在空间推理能力上还有很大的提升空间。

最令人惊讶的发现是，那些专门针对空间智能训练的模型并没有表现出明显优势。这些模型虽然在传统的空间智能基准测试中表现不错，但在体育场景的测试中并没有显著超越它们的基础版本。这说明体育场景引入了一些现有空间智能数据集中没有充分覆盖的挑战因素。

为了验证CourtSI数据集的训练价值，研究团队使用这些数据对Qwen3-VL-8B模型进行了专门训练。结果令人鼓舞：经过训练的模型在CourtSI-Bench上的准确率提升了23.5个百分点，其中距离测量任务的提升幅度超过25个百分点。这充分证明了专门的体育空间数据对提升AI空间理解能力的重要价值。

团队还进行了深入的错误分析，发现AI模型的推理过程往往具有良好的逻辑结构。它们能够识别关键对象，制定合理的推理步骤，甚至处理复杂的视角转换问题。但在三维定位精度和细粒度关系理解方面，模型仍存在明显不足。特别是当场景中存在透视畸变时，模型的判断准确性会显著下降。

五、跨运动项目的泛化能力验证

为了进一步验证研究成果的普适性，团队设计了一个有趣的扩展实验。他们选择了匹克球这项在几何结构上与网球、羽毛球相似的运动，构建了一个包含215个问答对的测试集CourtSI-Ext。这个实验的目的是检验AI模型是否能将在一种运动中学到的空间理解能力迁移到另一种相似运动中。

测试结果表现出了令人欣喜的跨域泛化能力。经过CourtSI训练的模型在匹克球场景中的表现比基础模型提升了13.2个百分点，证明了空间智能技能的可迁移性。这就像一个熟练的网球解说员也能够胜任羽毛球比赛的解说工作一样，基础的空间理解能力在不同运动项目间具有共通性。

不过，跨运动的泛化也面临一些挑战。在定位精度要求较高的任务中，模型的提升幅度相对有限，虽然距离误差从6米降低到3.9米，但仍未达到理想的精度要求。这提醒我们，虽然基础的空间推理能力可以迁移，但针对具体场景的精确建模仍需要专门的数据和训练。

六、从空间理解到智能解说

研究团队还探索了一个极具应用价值的方向：空间感知的体育解说生成。他们设计了一个实验，要求AI模型在生成体育解说时融入精确的空间关系信息，比如在描述比赛场面时准确提及球员间的距离或球的高度。

这个任务的挑战在于，AI不仅要具备空间理解能力，还要将这些技术性信息自然地融入到流畅、生动的解说词中。就像一个优秀的体育解说员，既要有敏锐的空间感知，又要有出色的语言表达能力，能够将复杂的空间信息转化为观众容易理解的精彩解说。

实验结果令人鼓舞。通过三名志愿者的主观评估，经过CourtSI训练的模型在空间感知能力方面表现出显著提升，同时保持了良好的语言质量。这表明空间智能的提升并没有以牺牲语言生成能力为代价，反而为AI的综合表现增添了新的亮点。

这一发现具有重要的实际应用价值。在未来的体育转播中，AI助手可能会承担更多的辅助解说工作，为观众提供更加详细、准确的比赛分析。特别是在一些需要精确数据支持的解说场景中，具备空间智能的AI将发挥独特优势。

七、揭示当前AI空间理解的局限

通过这次全面的评测和分析，研究团队揭示了当前AI在空间理解方面的几个重要局限。首先是透视畸变的处理问题。当物体在三维空间中的实际距离较远，但在二维图像中看起来很近时，AI模型往往会被误导。这种透视效应在体育场景中尤为常见，特别是使用广角镜头拍摄时。

其次是动态场景的理解难题。体育运动具有高度的动态性，球员姿态变化迅速，球的运动轨迹复杂多变。虽然研究中使用的是静态图像，但这些图像捕捉的往往是运动过程中的瞬间，包含了大量的运动信息。AI模型在理解这些运动暗示方面还存在不足。

第三是细粒度空间关系的推理挑战。虽然AI模型能够识别大致的位置关系，但在需要精确判断的场景中，比如判断球员是否越位、球是否出界等，模型的准确性还有待提高。这类判断往往涉及毫米级的精度要求，对AI的空间感知能力提出了极高挑战。

研究还发现，现有的空间智能训练数据主要集中在静态场景和刚性物体上，对人体这样的非刚性、多关节对象关注不够。人体在运动时的复杂形变和关节约束为空间理解增加了额外的复杂度，这是当前技术需要重点攻克的难题。

八、技术创新与方法突破

在技术方法上，这项研究实现了多个重要突破。首先是几何约束的巧妙利用。通过将标准化的球场几何作为度量基准，团队成功解决了单目视觉的尺度不确定性问题。这种方法不仅适用于体育场景，也为其他具有标准化结构的环境提供了参考。

数据生成流水线的设计也颇具创新性。传统的三维标注工作量巨大且容易出错，而该团队开发的半自动化引擎大大降低了标注成本，同时保证了数据质量。这种人机协作的标注方式在保证效率的同时确保了精度，为大规模数据集构建提供了可行的解决方案。

在评测体系设计上，研究引入了阈值相对精度这一新的评测指标，能够在严格的精度要求和实际应用需求之间找到平衡。这种评测方式更符合真实应用场景的需求，避免了过于严苛或过于宽松的评测标准。

质量控制方面，团队采用了多层次的验证机制。从多视角几何验证到人工审核，再到交叉验证，确保了数据集的高质量。这种严格的质量控制为后续的模型训练和评测提供了可靠保障。

九、应用前景与社会价值

这项研究的应用前景十分广阔。在体育产业方面，具备空间智能的AI系统可以为教练员提供更精确的技术分析，帮助运动员改进训练方法。比如，系统可以自动分析球员的跑位是否合理，击球点的选择是否最优，从而提供个性化的训练建议。

在体育转播领域，智能解说系统可以为观众提供更加丰富的观赛体验。系统不仅能够实时分析比赛数据，还能生成生动有趣的解说内容，特别是在一些专业性较强的技术环节，AI可以提供人类解说员难以注意到的细节分析。

在体育教育方面，这种技术可以帮助开发更有效的教学工具。学生可以通过AI系统获得即时的技术反馈，了解自己的动作是否标准，位置判断是否准确。这对于提高体育教学质量和学习效率具有重要意义。

更重要的是，这项研究推动了AI空间智能技术的整体发展。体育场景的复杂性和动态性为AI技术提出了新的挑战，攻克这些挑战所获得的技术突破必将惠及其他应用领域，比如自动驾驶、机器人导航、增强现实等。

十、研究意义与未来展望

从科学研究的角度看，这项工作首次将体育场景引入空间智能研究领域，开辟了一个全新的研究方向。体育运动作为人类最复杂、最动态的活动之一，为AI技术的发展提供了理想的测试场景。这不仅推动了空间智能技术的进步，也为理解人类空间认知能力提供了新的视角。

该研究建立的评测基准具有重要的学术价值。CourtSI-Bench为后续研究提供了标准化的评测工具，有助于推动整个领域的发展。同时，研究中揭示的AI模型局限性也为未来的技术改进指明了方向。

在数据集构建方面，这项工作展示了如何利用特定领域的先验知识来提高数据质量和标注效率。这种思路对其他需要大规模标注数据的AI任务具有重要参考价值。特别是在需要三维空间信息的应用中，利用环境约束来简化标注工作的方法值得推广。

展望未来，这个领域还有许多值得深入研究的方向。首先是时序信息的利用，当前研究主要基于静态图像，未来可以扩展到视频序列，利用时间信息来提高空间理解的准确性。其次是多模态信息的融合，结合音频信息可能会为空间理解提供额外的线索。

技术层面的改进也有很大空间。比如开发更精确的深度估计方法，设计更强大的空间推理算法，提高模型对透视畸变的鲁棒性等。这些技术突破不仅会提升体育场景的分析能力，也会推动整个计算机视觉领域的发展。

说到底，这项研究的真正价值不仅在于解决了一个特定的技术问题，更在于它为AI的发展开辟了新的思路。通过将人类最熟悉的活动——体育运动——作为AI学习的对象，研究者们找到了一条通向更智能、更实用AI系统的道路。当AI能够像资深体育解说员一样准确理解和描述球场上的每一个细节时，我们距离真正智能的AI助手又近了一步。这不仅会改变我们观看和参与体育运动的方式，更会为AI技术在更广泛领域的应用奠定坚实基础。对于每一个关注AI发展的人来说，这项研究都值得深入了解和持续关注。

Q&A

Q1：CourtSI数据集是什么？

A：CourtSI是一个专门用于训练AI理解体育场景空间关系的大型数据集，包含超过100万个问答对，覆盖羽毛球、网球和乒乓球三个项目。它能教会AI准确测量距离、判断位置关系，就像培训一个懂得空间几何的体育解说员。

Q2：为什么现有的AI模型在体育场景中表现不佳？

A：主要原因是体育场景具有高度动态性和复杂性，球员身体姿态变化快速，存在透视畸变问题，而现有的空间智能训练主要针对静态场景和刚性物体，缺乏对人体运动这类非刚性对象的充分训练。

Q3：这项研究对普通人有什么实际意义？

A：这项技术将改变我们观看体育比赛的体验，未来可能出现更智能的解说系统，提供精确的数据分析和个性化的观赛内容。同时在体育教学、运动训练方面也能提供更准确的技术指导，帮助业余爱好者改进技术。