diaugeia logodiaugeia.ai
全部研究
Diaugeia.AI 团队

ModernTSF:工程级的时序预测基准框架

一个开放、结构化的基准框架,把时序预测实验变成可组合、可复现的配置——31 个模型、60+ 数据集、原生支持 GIFT-EVAL,并配有扫描、性能剖析与分析工具。

基准可复现性

时序预测领域的进展很难看清。不同论文在彼此重叠却又不尽相同的数据集上报告结果,窗口划分、预处理、训练设置各不相同——于是一个新结果,往往无法与它声称要超越的那个结果真正可比。科学本身没问题,真正的瓶颈是基准设施

ModernTSF 是我们的答案:一个结构化、工程级的预测基准框架,让每一次实验都是一份可版本化的配置,结果在构造上即可比较。它开源(MIT),基于 Python 3.12 与 PyTorch 2.6。

实验即配置

ModernTSF 以 TOML 为先。数据集、模型、扫描(sweep)都以可组合的配置文件声明,而不是埋在脚本里。运行一次实验,就是对某个配置执行一条命令:

# 安装
uv sync --python 3.12
 
# 单个数据集 / 模型的运行
uv run modern-tsf --config configs/runs/run_single_data.toml
 
# 扫描:跨模型、跨数据集、或多轴
uv run modern-tsf --config configs/runs/sweep_model.toml
uv run modern-tsf --config configs/runs/multi_sweep.toml

扫描的组合是可预期的:sweep.extend 先展开,再叠加其余 sweep 键,因此总运行数就是各个维度的乘积。因为实验本身就是配置,它可以被 diff、被评审、被他人重新运行——这正是一个可信基准所需要的属性。

开箱即用的广度

  • 31 个模型——从线性基线(LinearDLinearNLinearRLinear),到基于 Transformer 的预测器(PatchTSTiTransformerAutoformerFEDformer),再到 MLP/patch 与多尺度混合(TSMixerPatchMLPTimeMixer)、二维时频 CNN(TimesNet),以及一长串现代方法(FITSSparseTSFCycleNetTiDE 等)。
  • 60+ 数据集——9 个经典基准(ETT 系列、electricity、weather、traffic、solar),外加对 GIFT-EVAL 的完整原生支持:53 个数据集配置,覆盖 23 个基础数据集、10 种采样频率(从秒级到月级)、7 个领域(含能源、交通、气象、金融等)。

新增一个模型、数据集或指标都被刻意设计得低摩擦——每一项只需极少的接入代码,由一份 schema 和一个配置定义。

从「运行」到「理解」

基准只有在你能读懂它时才有用。ModernTSF 自带分析工具,把原始运行变成可比较的结果:

  • 聚合某个数据集上的性能与剖析指标,
  • 按预测长度与随机种子对模型排名,
  • 并绘制气泡图(例如误差对参数量),一眼看出精度/效率的取舍。

性能剖析是一等公民——一个结果携带的不只是误差,还有它的代价:参数量,以及数字背后的算力。

为什么它在这里

ModernTSF 正体现了 Diaugeia.AI 的主张:现代的工程、为复现而设计、默认开放,并对智能体驱动的工作流友好——它「文档先行」的结构,让人与 LLM 智能体都能轻松扩展。这正是我们认为 AI 研究应当能够依赖的那种共享地基。

去了解这个项目、跑一次扫描、或添加一个模型:github.com/Diaugeia/ModernTSF