zhanxingluan
commented
5 months ago 我使用了MSA_FET的库进行了数据集的特征提取，再输入到MMSA_run中进行运行，我在对数据集的特征提取和对于测试视频的特征提取用的是同一个配置文件，但我还是无法使用MMSA_test来测试。请问是为什么？以下是我的代码：
run_dataset( config='./config2.json', dataset_dir = 'ch-simsv2s', out_file = './SIMSv2.pkl', tmp_dir='./.MMSA-FET/tmp', log_dir='./.MMSA-FET/log', num_workers = 4 )
模型训练代码：
config = get_config_tune('ef_lstm', 'sims') config['custom_feature'] = './SIMSv2.pkl' MMSA_run('ef_lstm','sims',config=config)
测试视频特征提取代码： vidiofile是视频文件路径，cleaned_result是语言识别后的文字
fet = FeatureExtractionTool(config="./config2.json", tmp_dir='./.MMSA-FET/tmp', log_dir='./.MMSA-FET/log') feature = fet.run_single(in_file=vidiofile, out_file="outputpkl/test.pkl",text=cleaned_result)
这是使用MMSA_test的代码：myef_lstm-simsv2.pth是训练完模型后的模型文件
config = get_config_tune('ef_lstm', 'sims') MMSA_test(config=config,weights_path='./myef_lstm-simsv2.pth',feature_path='./outputpkl/test.pkl')
这是我的config2.json配置：
{ "audio": { "tool": "opensmile", "sample_rate": 16000, "args": { "feature_set": "eGeMAPSv02", "feature_level": "LowLevelDescriptors", "start": null, "end": null } }, "video": { "tool": "openface", "fps": 10, "multiFace": { "enable": false, "device": "cuda:0", "facedetScale": 0.25, "minTrack": 10, "numFailedDet": 10, "minFaceSize": 1, "cropScale": 0.4 }, "average_over": 1, "args": { "hogalign": false, "simalign": false, "nobadaligned": false, "landmark_2D": true, "landmark_3D": false, "pdmparams": false, "head_pose": false, "action_units": true, "gaze": false, "tracked": false } }, "text": { "model": "bert", "device": "cpu", "pretrained": "models/bert-base-chinese", "args": {} } }
Alan-capro
这是你打开测试视频的pkl文件的数据，其中红框框起来的就是你测试视频的不同模态维度： 
这是你打开数据集的数据，其中红框框起来的就是数据集的不同模态的维度： 
对两个维度进行对比，要完全相同才能把测试视频的pkl文件输入到模型中，如果不同就需要看看数据集的特征提取方法，修改config.json文件。
这是我提区的视频的特征 
测试的代码和config等都是使用的您第一个提问中的代码，只是把ef_lstm换成了tfn，但是却还是出现了那些报错
GilgamishW
haikunzhang95
可能能解决您的问题。
您好，我在使用了MMSA_run训练ef_lstm模型后得到了一个pth文件，我想用自己的视频进行测试，在使用MMSA_FET之后得到了单视频的pkl文件，请问我要如何使用MMSA_test()函数进行测试？我看APIs里没有对MMSA_test()的测试用例。