PaddlePaddle / PaddleX

All-in-One Development Tool based on PaddlePaddle(飞桨低代码开发工具)
Apache License 2.0
4.85k stars 955 forks source link

paddleX中时间序列模型使用的数据集为与paddleTS套件中同一个模型数据集使用的不一致,并且两个训练模型的参数不一致,无法复现文档中的结果 #1957

Closed duqimeng closed 3 weeks ago

duqimeng commented 2 months ago

Checklist:

  1. 查找历史相关issue寻求解答
  2. 翻阅FAQ常见问题汇总和答疑
  3. 确认bug是否在新版本里还未修复
  4. 翻阅PaddleX数据准备文档

描述问题

时序异常检测中paddle使用的数据数据是SWAT数据集,在paddleTS套件中对用的模型使用的是MSL数据集。并且使用paddlex训练模型并不支持加载MSL数据集,就是说Paddlex提供的yaml运行文件与PaddleTS提供的yaml文件参数是不一致的,例如epoch。。。等参数

复现

特别是时间序列模型,很多结果

  1. 您使用的命令是? python main.py -c paddlex/configs/ts_anomaly_detection/AutoEncoder_ad.yaml -o Global.mode=train(指定MSl数据集后paddlex中的yaml文件和paddlets文件中的冲突)
  2. 您使用的数据集是? MSL数据集
  3. 请提供您出现的报错信息及相关log image

环境

  1. 请提供您使用的PaddleX的版本号 paddle3.0
  2. 请提供您使用的操作系统信息,如Linux/Windows/MacOS linux
  3. 请问您使用的Python版本是 3.10
Sunting78 commented 2 months ago

您好,使用PaddleX数据集只要通过-o Global.dataset_dir=数据路径,即可。能够通过数据校验的,PaddleX都支持。看您截图的报错,是无法找到数据,可以看下PaddleX时序任务相关的教程。教程案例:https://github.com/PaddlePaddle/PaddleX/blob/release/3.0-beta/docs/tutorials/practical_tutorial/ts_anomaly_detection.md 时序数据准备:https://github.com/PaddlePaddle/PaddleX/blob/release/3.0-beta/docs/tutorials/data/dataset_format.md#9-%E6%97%B6%E5%BA%8F%E5%BC%82%E5%B8%B8%E6%A3%80%E6%B5%8B%E4%BB%BB%E5%8A%A1%E6%A8%A1%E5%9D%97

duqimeng commented 2 months ago

在时间序列异常检测模型中,使用SWAT数据集的最优参数是否可以提供,例如学习率,批次大小、epoch等参数 image 文档中参数调优只有关于数据集msl的,Paddlex提供的异常检测模型的yaml运行文件与PaddleTS提供的异常检测yaml文件参数是不一致的,例如epoch。。。等参数

duqimeng commented 2 months ago

是按照PaddleX中异常检测模型的yaml文件为准还是PaddleTs中的为准?在PaddleTs套件中有没有标准指标,必须使用paddleX么? 并且我在SWAT数据集使用paddlex这一套参数,epoch:20,seq_len:96,batch:16在A100上并没有复现出结果,倒是使用PaddleTS中的epoch:1,seq_len:100,batch:128与文档结果差不多

Bobholamovic commented 1 month ago

这个辛苦 @Sunting78 确认下呢~

TingquanGao commented 3 weeks ago

The issue has no response for a long time and will be closed. You can reopen or new another issue if are still confused.


From Bot