麒麟系统源码编译paddle，make命令后报错

Phoenix2Legend commented 1 year ago

bug描述 Describe the Bug

在麒麟v10系统上编译paddle，系统内核为Linux-4.4.131-20200710.kylin.desktop-generic-aarch64-with-Kylin-V10-juniper;CPU为Phytium,FT-2000/4(64位，4核)。参考文档链接为：https://www.paddlepaddle.org.cn/inference/v2.4/guides/hardware_support/cpu_phytium_cn.html。在完成make TARGET=ARMV8 -j$(nproc)操作以后报错，具体报错信息见《其他补充信息 Additional Supplementary Information》

其他补充信息 Additional Supplementary Information

根据参考文档指示，一直到cmake命令结束都没有报错，但是在build目录中执行make TARGET=ARMV8 -j$(nproc)操作以后出现如下报错： [ 0%] copy_if_different /workspace/Paddle/build/paddle/phi/ops/compat/signatures.h [ 0%] copy_if_different /workspace/Paddle/build/paddle/phi/kernels/funcs/jit/kernels.h [ 0%] copy_if_different /workspace/Paddle/build/paddle/phi/kernels/declarations.h [ 0%] copy_if_different /workspace/Paddle/build/paddle/fluid/inference/api/paddle_inference_pass.h [ 0%] Built target copy_signatures_command [ 0%] Built target copy_kernels_command [ 0%] Built target copy_declarations_command [ 0%] Built target copy_paddle_inference_pass_command [ 1%] Built target extern_zlib [ 1%] Built target extern_gflags [ 1%] copy_if_different /workspace/Paddle/build/paddle/fluid/pybind/pybind.h [ 1%] Built target extern_pocketfft [ 1%] Built target copy_pybind_command [ 1%] Built target extern_pybind [ 2%] Built target extern_utf8proc [ 2%] Built target extern_eigen3 [ 2%] Performing configure step for 'extern_warprnnt' [ 2%] Built target extern_dlpack [ 2%] Creating directories for 'extern_cryptopp' [ 2%] Creating directories for 'extern_gloo' CMake Error at /workspace/Paddle/build/third_party/warprnnt/src/extern_warprnnt-stamp/extern_warprnnt-configure-Release.cmake:49 (message): Command failed: 1

'/usr/local/bin/cmake' '-DCMAKE_CXX_COMPILER=/usr/bin/c++' '-DCMAKE_C_COMPILER=/usr/bin/cc' '-DCMAKE_C_FLAGS=' '-DCMAKE_C_FLAGS_DEBUG=-g' '-DCMAKE_C_FLAGS_RELEASE=-O3 -DNDEBUG' '-DCMAKE_CXX_FLAGS=-Wno-error -w -Wno-error=deprecated-declarations -Wno-deprecated-declarations' '-DCMAKE_CXX_FLAGS_RELEASE=-O3 -DNDEBUG' '-DCMAKE_CXX_FLAGS_DEBUG=-g' '-DCMAKE_INSTALL_PREFIX=/workspace/Paddle/build/third_party/install/warprnnt' '-DWITH_GPU=OFF' '-DWITH_ROCM=OFF' '-DWITH_OMP=ON' '-DBUILD_SHARED=ON' '-DBUILD_TESTS=OFF' '-DCMAKE_POSITION_INDEPENDENT_CODE=ON' '-DCMAKE_BUILD_TYPE=Release' '-GUnix Makefiles' '-C/workspace/Paddle/build/third_party/warprnnt/tmp/extern_warprnnt-cache-Release.cmake' '/workspace/Paddle/third_party/warprnnt'

See also

/workspace/Paddle/build/third_party/warprnnt/src/extern_warprnnt-stamp/extern_warprnnt-configure-*.log

make[2]: [CMakeFiles/extern_warprnnt.dir/build.make:110：third_party/warprnnt/src/extern_warprnnt-stamp/extern_warprnnt-configure] 错误 1 make[1]: [CMakeFiles/Makefile2:4801：CMakeFiles/externwarprnnt.dir/all] 错误 2 make[1]: 正在等待未完成的任务.... /bin/sh: ./getarch: 权限不够 make[3]: [Makefile.prebuild:47：config.h] 错误 126 gemv.c: 在函数‘sgemv’中: gemv.c:223:29: 错误：‘GEMM_MULTITHREAD_THRESHOLD’ undeclared (first use in this function); did you mean ‘GEMM_THREAD_TR’? if ( 1L m n < 2304L * GEMM_MULTITHREAD_THRESHOLD ) ^~~~~~ GEMM_THREADTR gemv.c:223:29: 附注：每个未声明的标识符在其出现的函数内只报告一次 make[4]: [Makefile:864：sgemv.o] 错误 1 make[4]: 正在等待未完成的任务.... ger.c: 在函数‘sger’中: ger.c:178:27: 错误：‘GEMM_MULTITHREAD_THRESHOLD’ undeclared (first use in this function); did you mean ‘GEMM_THREAD_TR’? if(1L m n > 2048L * GEMM_MULTITHREAD_THRESHOLD) ^~~~~~ GEMM_THREAD_TR ger.c:178:27: 附注：每个未声明的标识符在其出现的函数内只报告一次 make[4]: [Makefile:836：sger.o] 错误 1 make[3]: [Makefile:150：libs] 错误 1 make[2]: [CMakeFiles/extern_openblas.dir/build.make:116：third_party/openblas/src/extern_openblas-stamp/extern_openblas-build] 错误 2 make[1]: [CMakeFiles/Makefile2:4541：CMakeFiles/extern_openblas.dir/all] 错误 2 [ 4%] Built target eager_python_c_codegen [ 4%] Built target eager_codegen make: *** [Makefile:133：all] 错误 2

jiahy0825 commented 1 year ago

我看您之前提过类似的 issue ：https://github.com/PaddlePaddle/Paddle/issues/55319 按照先前 issue 的方案，删除 third_party 目录后（Paddle/build/third_party 和 Paddle/third_party 都删除），换用稳定代理重新编译第三方库，可以解决问题吗

Phoenix2Legend commented 1 year ago

我看您之前提过类似的 issue ：#55319 按照先前 issue 的方案，删除 third_party 目录后（Paddle/build/third_party 和 Paddle/third_party 都删除），换用稳定代理重新编译第三方库，可以解决问题吗

麒麟系统用什么代理比较稳定啊

Phoenix2Legend commented 1 year ago

我看您之前提过类似的 issue ：#55319 按照先前 issue 的方案，删除 third_party 目录后（Paddle/build/third_party 和 Paddle/third_party 都删除），换用稳定代理重新编译第三方库，可以解决问题吗

麒麟系统用什么代理比较稳定啊

您说的办法我试过了，还是会报错

kangguangli commented 1 year ago

可以先确认下 third_party目录下各个第三方库的完整性。关于上面的问题，可以看看下面两个目录

third_party/warprnnt 跟https://github.com/PaddlePaddle/warp-transducer.git对比下
third_party/openblas 跟https://github.com/xianyi/OpenBLAS/目录对比，具体跟哪个分支比得看你的环境，相关代码可以看看cmake/external/openblas.cmake

不过我觉得现在看可能不是网络问题，可以：

把你使用的CMake选项贴出来看看
把/workspace/Paddle/build/third_party/warprnnt/src/extern_warprnnt-stamp/extern_warprnnt-configure-*.log贴出来

Phoenix2Legend commented 1 year ago

关于cmake命令全部： cmake .. -DPY_VERSION=3.7 -DPYTHON_EXECUTABLE=which python3 -DWITH_ARM=ON -DWITH_TESTING=OFF -DON_INFER=ON -DWITH_XBYAK=OFF -DCMAKE_CXX_FLAGS="-Wno-error -w" 以下是最新报错： [ 0%] copy_if_different /workspace/Paddle/build/paddle/phi/ops/compat/signatures.h [ 1%] Built target extern_gflags [ 1%] copy_if_different /workspace/Paddle/build/paddle/phi/kernels/declarations.h [ 1%] copy_if_different /workspace/Paddle/build/paddle/fluid/inference/api/paddle_inference_pass.h [ 1%] Built target copy_signatures_command [ 1%] Built target copy_paddle_inference_pass_command [ 1%] Built target copy_declarations_command [ 1%] copy_if_different /workspace/Paddle/build/paddle/fluid/pybind/pybind.h [ 1%] copy_if_different /workspace/Paddle/build/paddle/phi/kernels/funcs/jit/kernels.h [ 1%] Built target copy_pybind_command [ 1%] Built target extern_warpctc [ 1%] Built target copy_kernels_command [ 2%] Built target extern_cryptopp [ 2%] Built target extern_eigen3 [ 2%] Performing build step for 'extern_openblas' [ 3%] Built target extern_lapack [ 3%] Built target extern_gloo make[3]: 警告: 子 make 中强制 -jN: 关闭 jobserver 模式。 make[3]: 警告: jobserver 不可用: 正使用 -j1。添加 “+” 到父 make 的规则。 [ 3%] Built target extern_warprnnt [ 3%] Built target extern_dlpack [ 3%] Built target extern_zlib [ 3%] Built target extern_threadpool [ 3%] Built target extern_pocketfft [ 3%] Built target extern_pybind [ 4%] Built target extern_utf8proc [ 4%] Built target ps_py_proto_init [ 4%] Built target fleet_protoinit /bin/sh: ./getarch: 权限不够 make[3]: *** [Makefile.prebuild:47：config.h] 错误 126 gemv.c: 在函数‘sgemv’中: gemv.c:223:29: 错误：‘GEMM_MULTITHREAD_THRESHOLD’ undeclared (first use in this function); did you mean ‘GEMM_THREAD_TR’? if ( 1L m n < 2304L * GEMM_MULTITHREAD_THRESHOLD ) ^~~~~~ GEMM_THREADTR gemv.c:223:29: 附注：每个未声明的标识符在其出现的函数内只报告一次 make[4]: [Makefile:864：sgemv.o] 错误 1 make[4]: 正在等待未完成的任务.... ger.c: 在函数‘sger’中: ger.c:178:27: 错误：‘GEMM_MULTITHREAD_THRESHOLD’ undeclared (first use in this function); did you mean ‘GEMM_THREAD_TR’? if(1L m n > 2048L * GEMM_MULTITHREAD_THRESHOLD) ^~~~~~ GEMM_THREAD_TR ger.c:178:27: 附注：每个未声明的标识符在其出现的函数内只报告一次 make[4]: [Makefile:836：sger.o] 错误 1 make[3]: [Makefile:150：libs] 错误 1 make[2]: [CMakeFiles/extern_openblas.dir/build.make:116：third_party/openblas/src/extern_openblas-stamp/extern_openblas-build] 错误 2 make[1]: [CMakeFiles/Makefile2:4541：CMakeFiles/extern_openblas.dir/all] 错误 2 make[1]: 正在等待未完成的任务.... [ 4%] Built target eager_python_c_codegen [ 4%] Built target op_map_codegen [ 4%] Built target eager_codegen make: [Makefile:133：all] 错误 2

qili93 commented 1 year ago

您好，根据报错信息还是由于第三方库的编译错误导致的，你可以尝试先运行如下命令

# 单独运行，保证 warprnnt 第三方库编译成功
make TARGET=ARMV8 extern_warprnnt -j8

# 单独运行，保证 openblas 第三方库编译成功
make TARGET=ARMV8 extern_openblas -j8

# 以上两个命令运行成功之后，再运行全部的make命令
make TARGET=ARMV8 -j8

这样可以排除因为以上两个第三方库导致的编译错误。

Phoenix2Legend commented 1 year ago

您好，看样子就是openblas库下载异常？ λ wangan-GW-001M1A-FTF /workspace/Paddle/build {develop} make TARGET=ARMV8 extern_warprnnt -j8 Scanning dependencies of target extern_warprnnt Creating directories for 'extern_warprnnt' No download step for 'extern_warprnnt' No update step for 'extern_warprnnt' No patch step for 'extern_warprnnt' Performing configure step for 'extern_warprnnt' -- extern_warprnnt configure command succeeded. See also /workspace/Paddle/build/third_party/warprnnt/src/extern_warprnnt-stamp/extern_warprnnt-configure-*.log Performing build step for 'extern_warprnnt' Scanning dependencies of target warprnnt [ 50%] Building CXX object CMakeFiles/warprnnt.dir/src/rnnt_entrypoint.cpp.o [100%] Linking CXX shared library libwarprnnt.so [100%] Built target warprnnt Performing install step for 'extern_warprnnt' [100%] Built target warprnnt Install the project... -- Install configuration: "Release" -- Installing: /workspace/Paddle/build/third_party/install/warprnnt/lib/libwarprnnt.so -- Installing: /workspace/Paddle/build/third_party/install/warprnnt/include/rnnt.h Completed 'extern_warprnnt' Built target extern_warprnnt λ wangan-GW-001M1A-FTF /workspace/Paddle/build {develop} make TARGET=ARMV8 extern_openblas -j8 Scanning dependencies of target extern_openblas Creating directories for 'extern_openblas' Performing download step (git clone) for 'extern_openblas' 正克隆到 'extern_openblas'... fatal: 无法访问 'https://github.com/xianyi/OpenBLAS.git/'：Empty reply from server 正克隆到 'extern_openblas'... fatal: 无法访问 'https://github.com/xianyi/OpenBLAS.git/'：Empty reply from server 正克隆到 'extern_openblas'... fatal: 无法访问 'https://github.com/xianyi/OpenBLAS.git/'：Failed to connect to github.com port 443: 连接超时 -- Had to git clone more than once: 3 times. CMake Error at /workspace/Paddle/build/third_party/openblas/tmp/extern_openblas-gitclone.cmake:31 (message): Failed to clone repository: 'https://github.com/xianyi/OpenBLAS.git'

make[3]: [CMakeFiles/extern_openblas.dir/build.make:94：third_party/openblas/src/extern_openblas-stamp/extern_openblas-download] 错误 1 make[2]: [CMakeFiles/Makefile2:4541：CMakeFiles/extern_openblas.dir/all] 错误 2 make[1]: [CMakeFiles/Makefile2:4548：CMakeFiles/extern_openblas.dir/rule] 错误 2 make: [Makefile:297：extern_openblas] 错误 2

Phoenix2Legend commented 1 year ago

将build/third_party下的openblas删除然后返回build目录重新执行make TARGET=ARMV8 extern_openblas -j8还是会报错： λ wangan-GW-001M1A-FTF /workspace/Paddle/build {develop} make TARGET=ARMV8 extern_openblas -j8 Performing build step for 'externopenblas' make[4]: 警告: 子 make 中强制 -jN: 关闭 jobserver 模式。 make[4]: 警告: jobserver 不可用: 正使用 -j1。添加 “+” 到父 make 的规则。 /bin/sh: ./getarch: 权限不够 make[4]: *** [Makefile.prebuild:47：config.h] 错误 126 gemv.c: 在函数‘sgemv’中: gemv.c:223:29: 错误：‘GEMM_MULTITHREAD_THRESHOLD’ undeclared (first use in this function); did you mean ‘GEMM_THREAD_TR’? if ( 1L m n < 2304L GEMM_MULTITHREAD_THRESHOLD ) ^~~~~~ GEMM_THREADTR gemv.c:223:29: 附注：每个未声明的标识符在其出现的函数内只报告一次 ger.c: 在函数‘sger’中: ger.c:178:27: 错误：‘GEMM_MULTITHREAD_THRESHOLD’ undeclared (first use in this function); did you mean ‘GEMM_THREAD_TR’? if(1L m n > 2048L GEMM_MULTITHREAD_THRESHOLD) ^~~~~~ GEMM_THREAD_TR ger.c:178:27: 附注：每个未声明的标识符在其出现的函数内只报告一次 make[5]: [Makefile:864：sgemv.o] 错误 1 make[5]: 正在等待未完成的任务.... make[5]: [Makefile:836：sger.o] 错误 1 make[4]: [Makefile:150：libs] 错误 1 make[3]: [CMakeFiles/extern_openblas.dir/build.make:116：third_party/openblas/src/extern_openblas-stamp/extern_openblas-build] 错误 2 make[2]: [CMakeFiles/Makefile2:4541：CMakeFiles/extern_openblas.dir/all] 错误 2 make[1]: [CMakeFiles/Makefile2:4548：CMakeFiles/extern_openblas.dir/rule] 错误 2 make: [Makefile:297：extern_openblas] 错误 2

Phoenix2Legend commented 1 year ago

您好，根据报错信息还是由于第三方库的编译错误导致的，你可以尝试先运行如下命令
# 单独运行，保证 warprnnt 第三方库编译成功
make TARGET=ARMV8 extern_warprnnt -j8

# 单独运行，保证 openblas 第三方库编译成功
make TARGET=ARMV8 extern_openblas -j8

# 以上两个命令运行成功之后，再运行全部的make命令
make TARGET=ARMV8 -j8
这样可以排除因为以上两个第三方库导致的编译错误。

第一个命令应该是没什么问题，但是第二个命令执行以后总是卡在“正克隆到‘extern_openblas’…”，最后自动切换分支然后出现语法报错，请问是什么问题呢？

qili93 commented 1 year ago

根据错误提示，怀疑可能是您环境的权限不足导致的这个错误 “/bin/sh: ./getarch: 权限不够”

这个 getarch 命令输出会用于openblas里面判断平台架构类型，从而选择编译的代码平台，怀疑可能是由于您环境中权限不足导致 getarch 没有执行正确输出导致无法选择到对应 armv8 平台下的正确代码进行编译，从而导致的代码定义找不到等问题。

请先尝试解决 “getarch: 权限不够”的问题后，再运行“make TARGET=ARMV8 extern_openblas -j8”的命令。

如果还存在错误，也请尝试到 openblas 的 github 社区提问，谢谢！

Phoenix2Legend commented 1 year ago

根据错误提示，怀疑可能是您环境的权限不足导致的这个错误 “/bin/sh: ./getarch: 权限不够”

这个 getarch 命令输出会用于openblas里面判断平台架构类型，从而选择编译的代码平台，怀疑可能是由于您环境中权限不足导致 getarch 没有执行正确输出导致无法选择到对应 armv8 平台下的正确代码进行编译，从而导致的代码定义找不到等问题。

请先尝试解决 “getarch: 权限不够”的问题后，再运行“make TARGET=ARMV8 extern_openblas -j8”的命令。

如果还存在错误，也请尝试到 openblas 的 github 社区提问，谢谢！

您好，我的所有操作都是先sudo到root下完成的，权限应该是足够的吧？网上也没有找到这个权限报错相关的解决办法，无从下手求帮助。

Phoenix2Legend commented 1 year ago

您好，根据报错信息还是由于第三方库的编译错误导致的，你可以尝试先运行如下命令
# 单独运行，保证 warprnnt 第三方库编译成功
make TARGET=ARMV8 extern_warprnnt -j8

# 单独运行，保证 openblas 第三方库编译成功
make TARGET=ARMV8 extern_openblas -j8

# 以上两个命令运行成功之后，再运行全部的make命令
make TARGET=ARMV8 -j8
这样可以排除因为以上两个第三方库导致的编译错误。
第一个命令应该是没什么问题，但是第二个命令执行以后总是卡在“正克隆到‘extern_openblas’…”，最后自动切换分支然后出现语法报错，请问是什么问题呢？

是网络问题么？我可以访问到GitHub啊。为什么克隆到extern_openblas目录的这一步就是没反应呢？

Phoenix2Legend commented 1 year ago

我可以在GitHub上下载好openblas的代码然后放到指定位置并且改名以后正常编译吗？

Phoenix2Legend commented 1 year ago

我直接将https://github.com/xianyi/OpenBLAS.git的代码下载下来以后，把OpenBLAS-develop文件夹放到Paddle/build/third_party/openblas/src下面，删除该文件夹下原有的的extern_openblas并把OpenBLAS-develop重命名为extern_openblas，然后返回build目录下执行make TARGET=ARMV8 extern_openblas -j$(nproc)后报错： λ wangan-GW-001M1A-FTF /workspace/Paddle/build {develop} make TARGET=ARMV8 extern_openblas -j$(nproc) Performing build step for 'extern_openblas' make[4]: 警告: 子 make 中强制 -jN: 关闭 jobserver 模式。 make[4]: 警告: jobserver 不可用: 正使用 -j1。添加 “+” 到父 make 的规则。 /bin/sh: ./c_check: 权限不够 /bin/sh:行1: ./c_check: 权限不够 /bin/sh: ./c_check: 权限不够 make[4]: [Makefile.prebuild:63：config.h] 错误 126 Makefile.system:1504: Makefile.: 没有那个文件或目录 make[4]: 没有规则可制作目标“Makefile.”。停止。 make[3]: [CMakeFiles/extern_openblas.dir/build.make:116：third_party/openblas/src/extern_openblas-stamp/extern_openblas-build] 错误 2 make[2]: [CMakeFiles/Makefile2:4541：CMakeFiles/extern_openblas.dir/all] 错误 2 make[1]: [CMakeFiles/Makefile2:4548：CMakeFiles/extern_openblas.dir/rule] 错误 2 make: [Makefile:297：extern_openblas] 错误 2 有什么办法吗？

wjddd commented 1 year ago

我直接将https://github.com/xianyi/OpenBLAS.git的代码下载下来以后，把OpenBLAS-develop文件夹放到Paddle/build/third_party/openblas/src下面，删除该文件夹下原有的的extern_openblas并把OpenBLAS-develop重命名为extern_openblas，然后返回build目录下执行make TARGET=ARMV8 extern_openblas -j$(nproc)后报错： λ wangan-GW-001M1A-FTF /workspace/Paddle/build {develop} make TARGET=ARMV8 extern_openblas -j$(nproc) Performing build step for 'extern_openblas' make[4]: 警告: 子 make 中强制 -jN: 关闭 jobserver 模式。 make[4]: 警告: jobserver 不可用: 正使用 -j1。添加 “+” 到父 make 的规则。 /bin/sh: ./c_check: 权限不够 /bin/sh:行1: ./c_check: 权限不够 /bin/sh: ./c_check: 权限不够 make[4]: [Makefile.prebuild:63：config.h] 错误 126 Makefile.system:1504: Makefile.: 没有那个文件或目录 make[4]: 没有规则可制作目标“Makefile.”。停止。 make[3]: [CMakeFiles/extern_openblas.dir/build.make:116：third_party/openblas/src/extern_openblas-stamp/extern_openblas-build] 错误 2 make[2]: [CMakeFiles/Makefile2:4541：CMakeFiles/extern_openblas.dir/all] 错误 2 make[1]: [CMakeFiles/Makefile2:4548：CMakeFiles/extern_openblas.dir/rule] 错误 2 make: [Makefile:297：extern_openblas] 错误 2 有什么办法吗？

我也碰到了同样的问题，请问您找到解决办法了吗？

paddle-bot[bot] commented 2 months ago

Since you haven\'t replied for more than a year, we have closed this issue/pr. If the problem is not solved or there is a follow-up one, please reopen it at any time and we will continue to follow up. 由于您超过一年未回复，我们将关闭这个issue/pr。若问题未解决或有后续问题，请随时重新打开，我们会继续跟进。

PaddlePaddle / Paddle

麒麟系统源码编译paddle，make命令后报错 #55464

bug描述 Describe the Bug

其他补充信息 Additional Supplementary Information