RuntimeError: Native API failed. Native API returns: -999 (Unknown PI error) -999 (Unknown PI error)

violet17 commented 9 months ago

MTL 32GB mem baichuan13B got error.

The input prompt and input token can be found following：

token count input:  1036
input:  根据以下信息回答问题。 回答的语种与问题的语种一致。
ADS 使用向导
通过 ADS 考试
为了确保您能充分理解 ADS 功能的适用范围、
使用方法和注意事项，确保安全驾驶，我们为
您准备了 ADS 安全教学视频和考试。在使用
LCC、NCA 和 APA 等 ADS 功能前，您需先
完整观看视频并通过考试。
确保您的手机“AITO”应用已升级到
1.1.8.300 版本及以上，且已登录您的个人帐号
后，在手机“AITO”应用中进入“我的>智驾
考试”，按提示观看视频并考试。
提示
在注册帐号前 ，请确保您已详细阅读理解并
同意使用 ADS 软件服务的相关法律文件。
使用 ADS
建议您在使用 ADS 前，先在中控屏进入“华为
智驾” APP，查看车辆支持的 ADS 功能，可
选订阅 ADS 高阶功能包、加入 ADS 用户体验
改进计划，按个人驾驶偏好设置和确认 ADS 参
数。
1.确保车机已至少登录过一次车主帐号  ( 请参
阅页码 190 ) 。
2.确保车机当前已登录驾驶员的车主帐号或个
人授权帐号，车辆所有状态正常，可正常联
网。
3.在中控屏进入 华为智驾 >
>辅助驾驶 ，查看
车辆支持的 ADS 功能，可选订阅 ADS 高
阶功能包、加入 ADS 用户体验改进计划。
•在服务订阅 页签，查看本车支持的 ADS
功能和订阅情况，车主可以在此订阅
ADS 高阶功能包。
•在关于页签，查看 ADS 软件版本等声明
信息，车主可以在此加入 ADS 用户体验
改进计划。
4.在中控屏进入 华为智驾 >
>辅助驾驶 ，按
个人驾驶偏好设置和确认 ADS 参数。
•在“智驾辅助”、“泊车辅助”、“主动
安全”、“全景环视”等页签，设置相应
的具体 ADS 功能参数。
•在“其他设置”页签，设置“ADS 播
报”等通用 ADS 参数。5.在使用车辆过程中，根据实时交通情况和适
用条件，按需使用驾驶辅助、泊车辅助、安
全辅助等 ADS 功能。
其中，安全辅助功能会在满足条件时自动激
活，无需驾驶员主动触发。安全辅助功能存
在能力受限的场景，仪表屏会在雨天使用
LCC/NCA 等部分场景时显示能力受限的文
字提示（但不会在所有场景都提示）。
提示
•中控屏 设置＞辅助驾驶 页签与上述 华为智驾
>
>辅助驾驶 页签功能相同。
•ADS 参数中 ，除关闭 “防撞预警 ”、“防
撞制动 ”两个参数设置只在本次行程生效
外，其他参数设置均自动保存到当前登录的

产损毁、人身伤亡。
提示
•您应充分了解，将“ 目标车速偏移方式 ”设
置为正数可能导致车辆的目标车速超过道路
限速，请严格遵守交通法律法规。
•匝道时， 智能限速使用的常见经验速度值为
60km/h。
脱手检测
与 LCC 类似，使用 NCA 时，系统会对驾驶员
是否手握方向盘进行持续检测，并在检测到驾
驶员持续脱手达到规定时长时发出提醒，驾驶
员需及时双手握住方向盘，解除脱手提醒。详
情请参阅 LCC 简介中的 脱手检测 部分 ( 请参阅
页码 132 ) 。
*画面仅供参考，请以产品实际为准
警告
•切勿过度依赖系统发出的接管提醒来判断和
决定接管的时机 。驾驶员应始终专注驾驶 ，
注意仪表屏提示 、声音提示和周围环境并安
全驾驶，必要时及时接管。
•驾驶员有责任遵守交通法律法规的规定 ，确
保安全驾驶。 请主动全程双手握住方向盘 ，
勿将脱手提醒用作保证驾驶安全的措施 。关
于安全驾驶的更多信息 ，请参考 “驾驶安
全”章节  ( 请参阅页码 31 ) 。
•驾驶员应始终保持警惕 ，密切注意周围各种
危险情形 ，必要时及时人工干预或接管车
辆，确保安全驾驶。 违反上述操作会影响您
的安全驾驶， 可能会引发事故 ，甚至导致财
产损毁、人身伤亡。
144 驾驶辅助

问: ADS、ACC、LCC、NCA有什么区别和联系？

答:
Exception in thread Thread-8 (generate):
Traceback (most recent call last):
  File "C:\Users\test\Documents\rag\llmsd_env\lib\threading.py", line 1016, in _bootstrap_inner
    self.run()
  File "C:\Users\test\Documents\rag\llmsd_env\lib\threading.py", line 953, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\utils\_contextlib.py", line 115, in decorate_context
    return func(*args, **kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\transformers\generation\utils.py", line 1588, in generate
    return self.sample(
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\transformers\generation\utils.py", line 2642, in sample
    outputs = self(
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "C:\Users\test/.cache\huggingface\modules\transformers_modules\Baichuan2-13B-Chat-int4\modeling_baichuan.py", line 693, in forward
    outputs = self.model(
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "C:\Users\test/.cache\huggingface\modules\transformers_modules\Baichuan2-13B-Chat-int4\modeling_baichuan.py", line 467, in forward
    layer_outputs = decoder_layer(
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "C:\Users\test/.cache\huggingface\modules\transformers_modules\Baichuan2-13B-Chat-int4\modeling_baichuan.py", line 244, in forward
    hidden_states, self_attn_weights, present_key_value = self.self_attn(
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\bigdl\llm\transformers\models\baichuan2.py", line 246, in baichuan_attention_forward_13b
    new_cache_k[:] = cache_k
RuntimeError: Native API failed. Native API returns: -999 (Unknown PI error) -999 (Unknown PI error)

token count input:  1283
input:  根据以下信息回答问题。 回答的语种与问题的语种一致。
页签 说明
关于ADS 软件版本等声明信息。
车主可以在此加入 ADS 用户体验改
进计划。
警告
•驾驶员应在使用  ADS 功能前认真阅读 、理
解相关协议和配套文件 ，详细了解、掌握使
用 ADS 的相关知识 （包括但不限于  ADS
使用向导 、ADS 通用限制和错误 、 各
ADS 功能的具体含义 、适用范围和使用方
法、注意事项等）， 并在使用过程中严格遵
守相关操作说明 ，否则可能会引发事故 ，甚
至导致财产损毁 、人身伤亡。因驾驶员未遵
守本手册的操作而导致的财产损毁 、人身伤
亡等，本公司不承担责任。
•驾驶员应遵守当地的法律法规要求合法使用
ADS 功能。 本公司对用户的任何滥用 、错
误使用或未经授权修改  ADS 功能服务导致
的违法行为不承担任何责任。
•请勿在车辆发生剐蹭或碰撞 （含轻微碰撞）
后使用 ADS 功能，请立即前往 AITO 用户
中心检查车辆。
•ADS 不能取代驾驶员的专注驾驶和准确判
断。使用 ADS 功能时， 驾驶员应始终手握
方向盘，并保持警惕， 密切注意周围各种危
险情形， 必要时及时人工干预或接管车辆 ，
确保安全驾驶， 否则可能会引发事故 ，甚至
导致财产损毁、人身伤亡。
•本手册中所使用的 “接管”及其相关表述，
意在通过简练的语言传达驾驶员使用  ADS
过程中的相关事项 。但在  ADS 运行过程
中，驾驶员始终是车辆的唯一驾驶主体 ，应
全程对车辆和系统运行情况 、车辆外部环境
和相关目标进行持续监测和必要响应 ，并在
必要时立即通过本手册中规定的方式人工干
预和控制车辆行驶 ，确保行车安全，否则可
能会引发事故， 甚至导致财产损毁 、人身伤
亡。
警告
•驾驶员应以自己的名义注册 、登录使用车主
帐号或车主授权帐号以及使用  ADS 软件服
务。ADS 将以注册人为帐号所有人 。驾驶
员应妥善保管帐号信息 ，因未按要求使用帐
号、被他人登录驾驶员本人帐号 ，可能会造
成您的个人信息泄露 、财产损失，也可能会
影响车辆安全， 造成严重的人身损伤乃至伤
亡。因不当使用帐号 、被他人登录帐号所引
起的全部责任由驾驶员承担。
•将车辆交给他人使用时 ，驾驶员务必退出自
己的帐号， 并督促对方登录其个人帐号使用
车辆， 否则可能会造成您的个人信息泄露 、
财产损失， 也可能会影响车辆安全 ，造成严
重的人身损伤乃至伤亡 。因驾驶员外借帐号

ADS 使用向导
通过 ADS 考试
为了确保您能充分理解 ADS 功能的适用范围、
使用方法和注意事项，确保安全驾驶，我们为
您准备了 ADS 安全教学视频和考试。在使用
LCC、NCA 和 APA 等 ADS 功能前，您需先
完整观看视频并通过考试。
确保您的手机“AITO”应用已升级到
1.1.8.300 版本及以上，且已登录您的个人帐号
后，在手机“AITO”应用中进入“我的>智驾
考试”，按提示观看视频并考试。
提示
在注册帐号前 ，请确保您已详细阅读理解并
同意使用 ADS 软件服务的相关法律文件。
使用 ADS
建议您在使用 ADS 前，先在中控屏进入“华为
智驾” APP，查看车辆支持的 ADS 功能，可
选订阅 ADS 高阶功能包、加入 ADS 用户体验
改进计划，按个人驾驶偏好设置和确认 ADS 参
数。
1.确保车机已至少登录过一次车主帐号  ( 请参
阅页码 190 ) 。
2.确保车机当前已登录驾驶员的车主帐号或个
人授权帐号，车辆所有状态正常，可正常联
网。
3.在中控屏进入 华为智驾 >
>辅助驾驶 ，查看
车辆支持的 ADS 功能，可选订阅 ADS 高
阶功能包、加入 ADS 用户体验改进计划。
•在服务订阅 页签，查看本车支持的 ADS
功能和订阅情况，车主可以在此订阅
ADS 高阶功能包。
•在关于页签，查看 ADS 软件版本等声明
信息，车主可以在此加入 ADS 用户体验
改进计划。
4.在中控屏进入 华为智驾 >
>辅助驾驶 ，按
个人驾驶偏好设置和确认 ADS 参数。
•在“智驾辅助”、“泊车辅助”、“主动
安全”、“全景环视”等页签，设置相应
的具体 ADS 功能参数。
•在“其他设置”页签，设置“ADS 播
报”等通用 ADS 参数。5.在使用车辆过程中，根据实时交通情况和适
用条件，按需使用驾驶辅助、泊车辅助、安
全辅助等 ADS 功能。
其中，安全辅助功能会在满足条件时自动激
活，无需驾驶员主动触发。安全辅助功能存
在能力受限的场景，仪表屏会在雨天使用
LCC/NCA 等部分场景时显示能力受限的文
字提示（但不会在所有场景都提示）。
提示
•中控屏 设置＞辅助驾驶 页签与上述 华为智驾
>
>辅助驾驶 页签功能相同。
•ADS 参数中 ，除关闭 “防撞预警 ”、“防
撞制动 ”两个参数设置只在本次行程生效
外，其他参数设置均自动保存到当前登录的

问: ADS和ACC有什么区别和联系？

答:
Exception in thread Thread-9 (generate):
Traceback (most recent call last):
  File "C:\Users\test\Documents\rag\llmsd_env\lib\threading.py", line 1016, in _bootstrap_inner
    self.run()
  File "C:\Users\test\Documents\rag\llmsd_env\lib\threading.py", line 953, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\utils\_contextlib.py", line 115, in decorate_context
    return func(*args, **kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\transformers\generation\utils.py", line 1588, in generate
    return self.sample(
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\transformers\generation\utils.py", line 2678, in sample
    next_tokens = torch.multinomial(probs, num_samples=1).squeeze(1)
RuntimeError: Native API failed. Native API returns: -999 (Unknown PI error) -999 (Unknown PI error)

version:

ipex 2.1
bigdl-core-xe-21              2.5.0b20240128
bigdl-llm                     2.5.0b20240128

sgwhat commented 8 months ago

We have reproduced the issue and found a way to optimize it. The corresponding PR will be merged today.

violet17 commented 8 months ago

We have reproduced the issue and found a way to optimize it. The corresponding PR will be merged today.

Thanks for quick response.

sgwhat commented 8 months ago

Already fixed by https://github.com/intel-analytics/BigDL/pull/10203, could you please have a try? @violet17

violet17 commented 8 months ago

Already fixed by #10203, could you please have a try? @violet17

Hi ，still got error:

Exception in thread Thread-7 (generate):
Traceback (most recent call last):
  File "C:\Users\test\Documents\rag\llmsd_env\lib\threading.py", line 1016, in _bootstrap_inner
    self.run()
  File "C:\Users\test\Documents\rag\llmsd_env\lib\threading.py", line 953, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\torch\utils\_contextlib.py", line 115, in decorate_context
    return func(*args, **kwargs)
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\transformers\generation\utils.py", line 1588, in generate
    return self.sample(
  File "C:\Users\test\Documents\rag\llmsd_env\lib\site-packages\transformers\generation\utils.py", line 2678, in sample
    next_tokens = torch.multinomial(probs, num_samples=1).squeeze(1)
RuntimeError: Native API failed. Native API returns: -999 (Unknown PI error) -999 (Unknown PI error)

I got some output text, and VRAM is up to 15.1GB when inferencing. After a while, got this error.

intel-analytics / ipex-llm

RuntimeError: Native API failed. Native API returns: -999 (Unknown PI error) -999 (Unknown PI error) #10173