基于混合LLM-Transformer进行股价预测，提升抗噪和可解释性

“Improving Financial Forecasting with a Synergistic LLM-Transformer Architecture: A Hybrid Approach to Stock Price Prediction”

准确预测股价极具挑战，传统模型难处理非结构化信息，深度学习架构为金融预测带来新可能。

本文提出一种将LLM与Transformer架构集成的混合深度学习框架用于股票价格预测，将基于提示的LLM概念化为信号生成器，从财经新闻提取市场情绪和置信度分数，通过抗噪门控机制与历史价格特征动态融合。

结果表明，混合LLM-Transformer模型均方根误差降低5.28%（p = 0.003），消融和鲁棒性分析证实其在噪声条件下的稳定性和可解释性。

【 扫描文末二维码加入星球获取论文 】

摘要

本文提出一种将LLM与Transformer架构集成的混合深度学习框架用于股票价格预测，将基于提示的LLM概念化为信号生成器，从财经新闻提取市场情绪和置信度分数，通过抗噪门控机制与历史价格特征动态融合。结果表明，混合LLM-Transformer模型显著优于Vanilla Transformer基线，均方根误差降低5.28%（p = 0.003），消融和鲁棒性分析证实其在噪声条件下的稳定性和可解释性。本文为LLM-Transformer交互从实证观察到形式化建模的范式转变提供理论和实证支持，推动可解释、抗噪和语义丰富的金融预测系统发展。

简介

准确预测股价极具挑战，传统模型难处理非结构化信息，深度学习架构为金融预测带来新可能。过去十年，股价预测从线性统计方法发展到复杂神经网络，RNN、LSTM 助理解时间依赖，Transformer 革新序列建模，需结合可解释性与情境推理。

NLP 融入金融预测受关注，从早期情感分析到 Financial - BERT 等，“Stock Price Prediction with LLM - Guided Market Movement Signals and Transformer Model” 提出新范式，让 LLM 生成信号指导预测。相关计算领域研究体现混合智能趋势，需理论模型量化 AI 信号与市场动态的交互，而非仅依赖经验模式识别。

现有研究存在三方面局限：1）对噪声敏感、泛化能力有限，依赖合成或小数据集，应用到真实数据性能下降超 50%。2）LLM 与 Transformer 交互缺乏可解释性，将 LLM 输出视为不透明嵌入。3）理论构建和验证不足，多采用经验方法，无数学框架解释交互机制。

本研究提出严格框架，旨在回答三个问题： a）如何从理论和数学角度让 LLM 从非结构化金融文本生成可衡量、有意义的市场信号。 b）何种混合机制能让 LLM 信号增强 Transformer 预测能力，提升抗噪和可解释性。 c）怎样在统一框架中表达 LLM 信号与 Transformer 注意力权重的关系，解释模型优势。

本研究以可验证数学框架为基础并实证，为金融预测中混合 LLM - Transformer 架构建模、解释和改进奠定系统基础。

方法

本文提出用于股票价格预测的混合框架，融合大语言模型语义推理能力与Transformer时序建模优势，强调对混合系统进行数学形式化以解释交互机制，模型具可解释性、抗噪性，理论上能处理大语言模型生成的市场信号。

混合架构的数学公式

整体预测系统为复合函数，输入包括结构化数值特征 𝑋 𝑡和非结构化文本输入 𝑁 𝑡。模型采用长度为 𝑘 的回溯窗口 𝐼 𝑡−𝑘:𝑡，混合架构分解为两个主要函数，即 𝐹(𝐼 𝑡−𝑘:𝑡) = 𝒯(Fuse(ℒ(𝑋 𝑡−𝑘:𝑡), ℒ(𝑁 𝑡−𝑘:𝑡))) ，其中 ℒ 是大语言模型信号生成器，𝒯 是基于 Transformer 的预测引擎。

LLM作为结构化信号发生器

LLM被建模为函数， 为市场方向（上、下、平）的分类预测，c_t 是决策置信系数。为与数值数据集成，分类趋势信号编码为三维独热向量 ，c_t 由最终分类层的softmax激活得。LLM将非结构化金融文本转化为可量化、可解释的信号，解决了先前实证研究中文字衍生金融指标缺乏数学定义可解释性的问题。

Transformer作为时间预测引擎

Transformer是预测核心，可对历史价格与大语言模型语义信号间的时间依赖和跨模态关联建模。

统一模型表示与优化目标

整体框架将两模块集成：

融合函数实现门控信号集成。训练目标是最小化预测与真实价格的均方误差（MSE），即

通过反向传播和Adam优化，优化模型参数以最小化 L MSE，联合调整LLM-Transformer交互，实现语义与定量信息动态平衡。

理论阐释与创新总结

该方法论框架较先前混合模型有创新：

• 理论交互模型：将大语言模型（LLM）视为量化语义市场信息的信号发生器。

• 动态门控融合：门控机制降低对嘈杂文本信号的依赖，提升模型抗噪性与可解释性。

• 统一优化框架：LLM 情感特征和时间序列输入在共享损失函数下端到端训练，保证梯度传播一致与模态自适应加权。

• 可解释性：置信加权信号可追溯注意力到特定文本线索，增强金融决策中模型透明度。 这些贡献为金融混合深度学习建立严谨理论基础，弥合实证成功与形式可解释性的差距。

实验

数据集特征和LLM信号生成

为在可控条件下评估理论框架，采用含3000个交易时间步观测值的合成数据集，可隔离模型行为及LLM信号与Transformer的交互机制。表2总结特征描述性统计，模拟股价均值390.31、标准差251.11，有较大波动，其他特征与价格强相关。LLM根据模拟文本输入生成含置信分的合成趋势信号。图1显示信号与后续价格轨迹对应，预测趋势与价格走势相符，表明合成LLM信号对序列建模有预测价值。图中红线为模拟股价，黄线为LLM预测调整，二者同向且波动重叠，信号在价格预测上一致。

基线与实验设计

为验证模型有效性，将其与以下时间序列预测基线对比：

1. 基于注意力的 Vanilla Transformer；

2. 能建模时间依赖的 LSTM 和 GRU；

3. 传统机器学习方法 LR 和 XG - Boost。

所有模型用 Adam 优化器（学习率 0.001，批量大小 64，10 个 epoch）在相同条件下训练，用 RMSE、MAE 和 R²评估，结果取 10 次独立运行平均值，用配对双尾 t 检验（α = 0.05）检验统计显著性。

消融研究与性能评价

Hybrid LLM – Transformer 融合结构化金融数据与 LLM 生成的情绪信号，Vanilla Transformer 仅依赖数值输入。Hybrid 模型平均 RMSE 为 114.66，较 Vanilla 模型（RMSE = 121.05）提升 5.28%，差异显著（p = 0.003；Cohen’s d = 0.85）。柱状图显示 Hybrid 模型 RMSE 最低且改进显著（p < 0.01），验证了 LLM 生成的市场信号可加强 Transformer 注意力机制、提高预测准确性的理论前提。

训练收敛性和模型稳定性

通过训练和验证损失曲线考察模型收敛行为：Hybrid 模型损失轨迹平滑一致，训练与验证损失方差小，最终验证损失稳定在约 63290，泛化能力强；Vanilla Transformer 收敛模式较差，最终验证损失约 79530，稳定慢，拟合质量弱。

注意力可视化和可解释性

图5展示混合Transformer模型概念性注意力热力图，亮区代表高注意力重要性。该图显示模型对高置信度大语言模型信号对应时间步分配更强注意力，表明网络预测时会优先考虑含情感信息时段。此可视化突出对关键时间步和置信加权大语言模型信号的选择性关注，助于理解决策路径。

噪声-鲁棒性评价

为评估鲁棒性，向结构化价格特征注入不同水平（σ = 0.05, 0.10, 0.20）高斯噪声，图 6 展示 RMSE 与噪声水平关系。混合模型在 σ = 0.20 时 RMSE 仅增 4.1%，而 Vanilla Transformer 增 10.7%，混合模型能保持 94%基线性能，后者降至 89%，体现混合模型对噪声输入的有效抗性。其鲁棒性源于动态门控机制，可自适应降低低置信度大语言模型信号权重，防止不可靠文本噪声传播到预测层。

讨论

本研究结果为将大语言模型（LLM）生成信号用于金融时间序列预测提供三点重要启示：

• LLM生成的语义特征可提升模型预测能力，文本数据含传统数值指标无法捕捉的互补信号，利用金融叙事语言线索能洞察市场动态。

• 动态门控机制显著增强模型抗噪性，有效消除无关情绪变化，符合选择性注意机制使混合模型在异构数据集成中保持稳定的理论预期。

• 可解释性分析证明框架可靠，注意力热力图显示高置信度文本指标与未来价格波动有稳定关系，增强了LLM驱动方法的可信度，助力投资决策。

总结

本文介绍一种混合深度学习方法，将大语言模型（LLM）生成的市场线索与Transformer预测网络结合以提升金融预测性能。研究表明，文本分析产生的金融叙述可补充数值市场信息，提高预测准确性。Hybrid LLM - Transformer模型能显著降低RMSE，证明非结构化文本语义证据可定量预测。该研究在概念上形式化了语义（基于LLM）和时序（基于Transformer）学习的交互，LLM组件生成的信号有可解释的置信权重，模型内部一致性和可解释性强。

不过存在局限，实验用的合成数据和简化LLM不能反映真实金融市场的噪声和动态，缺乏大规模领域调优模型，未用于实盘交易。

未来应将框架应用于实际金融数据和大型金融新闻语料库，用先进领域特定LLM生成实时信号，解决更多下游问题，有望促进金融领域创建更透明、抗噪和可解释的AI系统。

我们致力于人工智能、量化交易领域前沿研究，分享前沿论文、模型代码、策略实现。如有相关需求，请私信与我们联系。

请加微信“LingDuTech163”，或公众号后台私信“联系方式”。

关注【灵度智能】公众号，获取更多AI资讯。