无需再训练：TabFM实现表格零样本预测

2026年7月11日暂无评论阅读 36 次

收听本文语音

商业领域中的绝大多数数据都以表格形式存在，存储在数据仓库、客户关系管理系统和财务账本中。然而，从这些数据构建可靠模型的传统方法仍然意味着为每个数据集从头开始训练新模型，同时还要维护超参数调优循环、特征工程以及应对数据漂移的再训练流水线。Google研究团队提出了一种创新解决方案：TabFM基础模型，它将表格预测重新定义为上下文学习问题。

该模型仅需一次前向传播，就能对全新的、未见过的表格生成预测。对于企业开发人员和AI工程师而言，这将生产时间从数周的水线工程缩短至一次API调用。

传统机器学习的挑战

要从梯度提升树中提取可靠预测，数据科学家必须构建并维护复杂的数据管道。他们需要清理混乱的输入数据，填补缺失值，将分类变量编码为数值格式，并设计自定义特征交叉。

数据准备就绪后，他们必须运行重复的超参数优化循环，遍历学习率、树深度、子采样比例和正则化网格，以寻找最佳配置。

部署后，这些传统模型”通过数据漂移监控和再训练流水线持续产生运营成本，以保持准确性，”Google研究科学家Weihao Kong在接受VentureBeat采访时表示。

与此同时，AI行业的其他领域已经向前发展。文本和计算机视觉的生成式AI模型已无缝转向零样本推理，即模型仅通过提示上下文就能执行全新任务。

大型语言模型(LLM)已在上下文学习方面表现出色，那么我们为何不能直接将表格输入现成的LLM呢？

由于LLM训练于自然语言而非结构化数据，它们直接处理表格的能力有限。首先，仅包含几千行和几百列的中型表格就会迅速耗尽其上下文限制。其次，LLM面临标记化效率问题， awkwardly分割数值并破坏数学精确性。最后，它们存在结构盲区——当二维表格被序列化为一维文本字符串时，随着表格增大，LLM难以追踪哪个值属于哪一行和哪一列。

“这就是为什么如今使用LLM编写处理特征工程和调用XGBoost的代码，比直接让LLM读取表格本身更有效，”Kong说道。

TabFM是什么？

使用TabFM进行推理时，无需更新任何模型权重。相反，您可以将历史示例（带有已知标签的训练行）和目标行（您想要预测的新数据）作为单个统一提示传递给模型。模型在运行时直接从上下文中学习解释行和列之间的关系。

例如，考虑一位试图预测客户流失的企业分析师。他们无需构建定制的数据管道和训练XGBoost模型，只需将历史用户会话数据的样本 alongside 一个新的活跃会话传递给TabFM。模型在一次前向传播中即可返回即时的流失概率。

TabFM通过将数据视为网格来克服LLM的局限性，保留了其结构完整性，而不必将其强制转换为单维文本字符串。

为了有效处理多样化的表格结构并实现可扩展的零样本预测，TabFM融合了早期实验架构TabPFN和TabICL的优势。TabPFN由Prior Labs开发，首次证明了Transformer架构可以对小型表格进行零样本分类，但在计算上难以扩展到更大的数据集。

后来，TabICL由法国国家数字科学与技术研究所开发，通过引入行压缩解决了这一瓶颈，使上下文学习能够高效处理更大的表格。

TabFM将TabPFN的深度特征上下文化与TabICL的高效压缩相结合，形成了一种基于三种关键机制的新型混合设计：

交替行和列注意力：原始表格首先通过多层注意力模块进行处理，该模块交替关注列（特征）和行（示例）。通过持续关注这两个维度，模型能够自然捕捉复杂特征交互。这种深度上下文化完成了通常需要数据科学家进行繁琐手动特征构建的工作。
行压缩：在此上下文化之后，每一行的交叉注意信息被压缩为单个密集向量表示。TabICL首次使用CLS令牌将一行丰富信息压缩为一个向量，”与TabPFN v2、v2.5和v2.6在整个网络中关注完整单元格网格形成对比，”Kong解释道。这显著缩小了计算足迹。
上下文学习(ICL)：因果Transformer随后在此压缩嵌入序列上运行。该Transformer模型使用TabICL的注意力机制关注这些密集行向量，大幅降低计算成本，使模型能够高效处理大型数据集。

TabFM的一个主要卖点是其预训练方法。该模型完全在数亿个合成数据集上训练。这些数据集使用结构因果模型(SCM)动态生成，结合了各种随机函数。通过仅在合成SCM上训练，TabFM学习了表格特征交互的基本数学先验，无需摄入真实世界的机密CSV文件。