Chronos：语言模型架构适配时序预测

Chronos适配语言模型架构用于时间序列预测将时间序列数据分词并像语言一样处理使得模型的零样本性能能够匹配甚至超越专用模型。作者Abdul Fatir Ansari, Lorenzo Stella日期2024年3月18日阅读时间2分钟相关代码/数据集Chronos学习时间序列的语言正文时间序列预测对于零售、能源、金融和医疗保健等行业的决策至关重要。然而开发基于机器学习的准确预测模型传统上需要大量针对数据集的调整和模型定制。在刚刚发布到arXiv的一篇论文中提出了Chronos一个基于语言模型架构的预训练时间序列模型家族。与大型语言模型或视觉语言模型一样Chronos是一个基础模型它从大型数据集中学习如何生成适用于广泛任务的通用表示。Chronos背后的关键洞察是将时间序列数据视为一种语言由现成的Transformer架构进行建模。为了将实值的时间序列观测值标记化为一个固定词汇表通过其绝对均值对时间序列进行缩放然后将缩放后的时间序列量化为固定数量的均匀间隔的桶中。除了这些桶标记之外还添加了两个特殊标记PAD和EOS分别表示填充/缺失值和序列结束。然后可以在这种“时间序列语言”上使用标准的交叉熵损失函数训练像T5这样的标准语言模型而无需对模型架构本身进行任何更改。Chronos的高级描述。左侧输入时间序列经过缩放和量化以获得标记序列。中间标记被输入到语言模型中该模型使用交叉熵损失进行训练。右侧在推理过程中标记从模型中自回归采样并映射回数值。尽管其架构简单Chronos却异常准确。在一项涉及42个数据集的综合评估中Chronos在其训练集之外的保留数据上显著优于经典统计方法以及专用的深度学习模型。更重要的是在全新的数据集上Chronos的零样本性能与直接在这些数据集上训练的模型相当有时甚至更优。Chronos的一个核心优势是它能够利用来自不同领域的多样化时间序列数据来提高泛化能力。为了增强模型的鲁棒性用随机混合的真实样本TSMix和基于高斯过程的合成生成数据集KernelSynth来增强用于预训练的公共数据源。Chronos令人印象深刻的零样本能力使其成为一种可行的“通用”预测解决方案简化了部署流程。从业者无需为每个特定应用训练单独的模型而是可以直接使用现成的Chronos模型立即进行准确预测从而降低计算成本并更容易采用先进的预测技术。尽管Chronos取得了强大的实证结果但这项探索仅仅触及了通过将语言模型与时间序列预测对齐所能实现的表面。正如论文中所讨论的未来的研究可以探索更复杂的时间序列标记化方案、针对序列数据定制的架构以及显式融入辅助特征或领域知识。使用预训练模型进行时间序列预测是一个令人兴奋的前沿领域。通过将预测任务重新表述为一种语言建模Chronos展示了一条通往通用、准确预测的更简单路径。此外Chronos将能够无缝整合大型语言模型设计方面的未来进展。邀请研究人员和从业者使用现已开源的Chronos并一同开发下一代时间序列模型。研究领域机器学习标签时间序列概率预测FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享