search

thuiar / MMSA-FET

A Tool for extracting multimodal features from videos.
GNU General Public License v3.0
141 stars 21 forks source link

关于序列长度的问题 #10

Open GalioMax opened 2 years ago

GalioMax commented 2 years ago

您好，我根据您的示例，分别用librosa和openface提取音频和视频特征，想请问您在得到的特征文件中，各个模态的序列长度是如何求得的？这个提取到的特征应该也是属于未对其的序列吧？

GalioMax commented 2 years ago

您好，我还有另一个问题。在根据安装说明全部安装之后使用，会一直提示如下错误： ERROR: Could not load the landmark detector MMSA-FET - Failed to extract video features with OpenFace from 7JsX8y1ysxY_8. MMSA-FET - Error occurred when extracting features for video 7JsX8y1ysxY clip 8 MMSA-FET - Ignore error and continue, see the log for details. Could not find the HAAR face detector location 请问这种问题如何处理？ 期待您的回复，谢谢

FlameSky-S commented 2 years ago

您好，序列长度是根据数据集中所有样本的长度根据（mean + 3 * std）求得的。当前只提供非对齐特征的抽取，未来版本会提供特征对齐的功能。

关于第二个问题，请问您是在windows上使用的吗？您在运行python -m MSA_FET install时是否有报错？是否可以提供一下代码路径下ext文件夹的内容列表？

GalioMax commented 2 years ago

您好，序列长度是根据数据集中所有样本的长度根据（mean + 3 * std）求得的。当前只提供非对齐特征的抽取，未来版本会提供特征对齐的功能。

关于第二个问题，请问您是在windows上使用的吗？您在运行python -m MSA_FET install时是否有报错？是否可以提供一下代码路径下ext文件夹的内容列表？

  1. 您好，我实在Linux系统上运行的，为Ubuntu 20.04版本。我根据您在https://github.com/thuiar/MMSA-FET/wiki/Dependency-Installation中的提示在百度网盘中下载了ext文件，并且上传到了python3.8/site-packages/MSA_FET/exts路径下，并且将extractor中的openface.py文件中的路径改为了绝对路径。
  2. 并且刚刚在运行的时候，在问题2的基础上，又有了新问题：sh: 1: /root/miniconda3/lib/python3.8/site-packages/MSA_FET/exts/OpenFace/FeatureExtraction: Permission denied。请问这个该怎样解决？
  3. 我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？或者需要去OpenFace主页上运行install.sh文件手动安装OpenFace？
  4. 问题较多，还希望您能在空闲时间答疑解惑，非常期待您的回复，谢谢！
FlameSky-S commented 2 years ago

您需要将FeatureExtraction文件赋予正确的可执行权限。

我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？

只要正确安装即可。

GalioMax commented 2 years ago

您需要将FeatureExtraction文件赋予正确的可执行权限。

我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？

只要正确安装即可。

您好，按照您说的我赋予了正确的可执行权限，之后会有一个BLAS的报错和DataLoader的报错，我在执行语句之前export OMP_NUM_THREADS=1，之后还是会出现问题二的错误。查看输出的log文件，显示的是[Errno 2] No such file or directory: '/root/.MMSA-FET/tmp/03bSnISJMiM_12/03bSnISJMiM_12.csv'

FlameSky-S commented 2 years ago

[Errno 2] No such file or directory: '/root/.MMSA-FET/tmp/03bSnISJMiM_12/03bSnISJMiM_12.csv'

这个csv是记录OpenFace结果用的。根据你的描述，产生这个问题的原因还是前面问题二没有找到landmark detector。

您是否是在jupyter下运行的代码？另外，请再次确认百度云下载的文件是否全部拷贝到位。如果问题依然存在，可以参考这个issue #5 ，从OpenFace官网获取完整的文件。期待您的反馈。

GalioMax commented 2 years ago

[Errno 2] No such file or directory: '/root/.MMSA-FET/tmp/03bSnISJMiM_12/03bSnISJMiM_12.csv'

这个csv是记录OpenFace结果用的。根据你的描述，产生这个问题的原因还是前面问题二没有找到landmark detector。

您是否是在jupyter下运行的代码？另外，请再次确认百度云下载的文件是否全部拷贝到位。如果问题依然存在，可以参考这个issue #5 ，从OpenFace官网获取完整的文件。期待您的反馈。

我使用的是JupyterLab运行的，我重新下载安装了opencv和其他所需依赖包，然后下载了openface的官方安装包，编译之后可以运行了，不过会有提示：Could not find the HAAR face detector location（这个不会影响程序运行），并且会出现OpenBLAS报错，BLAS : Program is Terminated. Because you tried to allocate too many memory regions. Segmentation fault.我查阅了相关资料，并且按照提示添加了https://github.com/TadasBaltrusaitis/OpenFace/wiki/Mac-installation#openblas-performance所示的程序之后不会报错，但运行极为缓慢，使用RTXA5000提取SIMS数据集特征需要近40小时。

FlameSky-S commented 2 years ago

Could not find the HAAR face detector location

这个是正常现象。

但运行极为缓慢，使用RTXA5000提取SIMS数据集特征需要近40小时

猜测是添加了OMP_NUM_THREADS=1的原因。可以尝试一下不用jupyter运行，看看是否还需要设置这个环境变量

GalioMax commented 2 years ago

Could not find the HAAR face detector location

这个是正常现象。

但运行极为缓慢，使用RTXA5000提取SIMS数据集特征需要近40小时

猜测是添加了OMP_NUM_THREADS=1的原因。可以尝试一下不用jupyter运行，看看是否还需要设置这个环境变量

好的，谢谢您，我会尝试一下使用其他方法来运行。十分感谢您的解答。

Chi-Tian commented 2 years ago

您需要将FeatureExtraction文件赋予正确的可执行权限。

我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？

只要正确安装即可。

您好，按照您说的我赋予了正确的可执行权限，之后会有一个BLAS的报错和DataLoader的报错，我在执行语句之前export OMP_NUM_THREADS=1，之后还是会出现问题二的错误。查看输出的log文件，显示的是[Errno 2] No such file or directory: '/root/.MMSA-FET/tmp/03bSnISJMiM_12/03bSnISJMiM_12.csv'

我的也是报和你一样的错误，sh: 1: /opt/conda/envs/MMSA-FET-env/lib/python3.8/site-packages/MSA_FET/exts/OpenFace/FeatureExtraction: Permission denied MMSA-FET - Failed to extract video features with OpenFace from video_1. FileNotFoundError: [Errno 2] No such file or directory: '/root/.MMSA-FET/tmp/tmp.csv'

你好，请问你是如何赋予的可执行权限。 我是这样做的 chmod +x FeatureExtraction，然后执行出现了新的错误： /opt/conda/envs/MMSA-FET-env/lib/python3.8/site-packages/MSA_FET/exts/OpenFace/FeatureExtraction: error while loading shared libraries: libboost_filesystem.so.1.71.0: cannot open shared object file: No such file or directory 请问你当时怎么解决的

Chi-Tian commented 2 years ago

您好，序列长度是根据数据集中所有样本的长度根据（mean + 3 * std）求得的。当前只提供非对齐特征的抽取，未来版本会提供特征对齐的功能。 关于第二个问题，请问您是在windows上使用的吗？您在运行python -m MSA_FET install时是否有报错？是否可以提供一下代码路径下ext文件夹的内容列表？

  1. 您好，我实在Linux系统上运行的，为Ubuntu 20.04版本。我根据您在https://github.com/thuiar/MMSA-FET/wiki/Dependency-Installation中的提示在百度网盘中下载了ext文件，并且上传到了python3.8/site-packages/MSA_FET/exts路径下，并且将extractor中的openface.py文件中的路径改为了绝对路径。
  2. 并且刚刚在运行的时候，在问题2的基础上，又有了新问题：sh: 1: /root/miniconda3/lib/python3.8/site-packages/MSA_FET/exts/OpenFace/FeatureExtraction: Permission denied。请问这个该怎样解决？
  3. 我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？或者需要去OpenFace主页上运行install.sh文件手动安装OpenFace？
  4. 问题较多，还希望您能在空闲时间答疑解惑，非常期待您的回复，谢谢！

将extractor中的openface.py文件中的路径改为了绝对路径 ，请问你这一步是如何修改的

Chi-Tian commented 2 years ago

您需要将FeatureExtraction文件赋予正确的可执行权限。

我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？

只要正确安装即可。

你好，请问你是如何赋予的可执行权限。 我是这样做的 chmod +x FeatureExtraction，然后执行出现了新的错误： /opt/conda/envs/MMSA-FET-env/lib/python3.8/site-packages/MSA_FET/exts/OpenFace/FeatureExtraction: error while loading shared libraries: libboost_filesystem.so.1.71.0: cannot open shared object file: No such file or directory 请问你当时怎么解决的

GalioMax commented 2 years ago

这个我是在作者提供的源码中openface.py文件下修改的。就是pip安装后

您好，序列长度是根据数据集中所有样本的长度根据（mean + 3 * std）求得的。当前只提供非对齐特征的抽取，未来版本会提供特征对齐的功能。 关于第二个问题，请问您是在windows上使用的吗？您在运行python -m MSA_FET install时是否有报错？是否可以提供一下代码路径下ext文件夹的内容列表？

  1. 您好，我实在Linux系统上运行的，为Ubuntu 20.04版本。我根据您在https://github.com/thuiar/MMSA-FET/wiki/Dependency-Installation中的提示在百度网盘中下载了ext文件，并且上传到了python3.8/site-packages/MSA_FET/exts路径下，并且将extractor中的openface.py文件中的路径改为了绝对路径。
  2. 并且刚刚在运行的时候，在问题2的基础上，又有了新问题：sh: 1: /root/miniconda3/lib/python3.8/site-packages/MSA_FET/exts/OpenFace/FeatureExtraction: Permission denied。请问这个该怎样解决？
  3. 我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？或者需要去OpenFace主页上运行install.sh文件手动安装OpenFace？
  4. 问题较多，还希望您能在空闲时间答疑解惑，非常期待您的回复，谢谢！

将extractor中的openface.py文件中的路径改为了绝对路径 ，请问你这一步是如何修改的

这个是我再pip安装之后进入虚拟环境中找到相关安装包中的源码进行修改，具体是self.tool_dir = Path(__file__).parent.parent.parent / "exts" / "OpenFace"这行

GalioMax commented 2 years ago

您需要将FeatureExtraction文件赋予正确的可执行权限。

我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？

只要正确安装即可。

你好，请问你是如何赋予的可执行权限。 我是这样做的 chmod +x FeatureExtraction，然后执行出现了新的错误： /opt/conda/envs/MMSA-FET-env/lib/python3.8/site-packages/MSA_FET/exts/OpenFace/FeatureExtraction: error while loading shared libraries: libboost_filesystem.so.1.71.0: cannot open shared object file: No such file or directory 请问你当时怎么解决的

这个问题我记得我当时好像重新对openface进行编译了一下，时间有点长记得不是很清楚了抱歉

GalioMax commented 2 years ago

您需要将FeatureExtraction文件赋予正确的可执行权限。

我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？

只要正确安装即可。

你好，请问你是如何赋予的可执行权限。 我是这样做的 chmod +x FeatureExtraction，然后执行出现了新的错误： /opt/conda/envs/MMSA-FET-env/lib/python3.8/site-packages/MSA_FET/exts/OpenFace/FeatureExtraction: error while loading shared libraries: libboost_filesystem.so.1.71.0: cannot open shared object file: No such file or directory 请问你当时怎么解决的

使用chmod +x file.sh命令赋予权限

Chi-Tian commented 2 years ago

您需要将FeatureExtraction文件赋予正确的可执行权限。

我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？

只要正确安装即可。

你好，请问你是如何赋予的可执行权限。 我是这样做的 chmod +x FeatureExtraction，然后执行出现了新的错误： /opt/conda/envs/MMSA-FET-env/lib/python3.8/site-packages/MSA_FET/exts/OpenFace/FeatureExtraction: error while loading shared libraries: libboost_filesystem.so.1.71.0: cannot open shared object file: No such file or directory 请问你当时怎么解决的

这个问题我记得我当时好像重新对openface进行编译了一下，时间有点长记得不是很清楚了抱歉

好的，首先请您看一下是不是这个连接下载的openface官方安装包https://github.com/TadasBaltrusaitis/OpenFace/wiki/Windows-Installation。 然后您提到的对openface进行编译是不是上面那个链接中提到的“要使二进制文件正常工作，您需要安装 Visual Studio 2017 或需要安装 64 位 Visual C++ 可再发行包，可在此处找到。

tianguang2525 commented 6 months ago

您需要将FeatureExtraction文件赋予正确的可执行权限。

我在考虑是否是opencv和dlib编译安装有问题，请问这个应该是安装在任何位置都可以，还是需要在python3.8/site-packages/MSA_FET路径下？

只要正确安装即可。

你好，请问你是如何赋予的可执行权限。 我是这样做的 chmod +x FeatureExtraction，然后执行出现了新的错误： /opt/conda/envs/MMSA-FET-env/lib/python3.8/site-packages/MSA_FET/exts/OpenFace/FeatureExtraction: error while loading shared libraries: libboost_filesystem.so.1.71.0: cannot open shared object file: No such file or directory 请问你当时怎么解决的

这个问题我记得我当时好像重新对openface进行编译了一下，时间有点长记得不是很清楚了抱歉

好的，首先请您看一下是不是这个连接下载的openface官方安装包https://github.com/TadasBaltrusaitis/OpenFace/wiki/Windows-Installation。 然后您提到的对openface进行编译是不是上面那个链接中提到的“要使二进制文件正常工作，您需要安装 Visual Studio 2017 或需要安装 64 位 Visual C++ 可再发行包，可在此处找到。

您好，请问您最终解决问题了嘛