静态图推理如何开启AMP?

PaddlePaddle-Gardener commented 1 year ago

hello, 我想要用静态图做AMP推理，然而我查阅了paddle文档后，只发现有静态图训练的AMP enable方法，没有发现推理的AMP enable方法，请问可以帮我看看如何解决静态图AMP推理吗？谢谢，文档链接，简易代码如下

with paddle.static.program_guard(main_prog, startup_prog):

    input_ids = paddle.static.data(
        name="input_ids",
        shape=shape,
        dtype="int64",
    )

    token_type_ids = paddle.static.data(
        name="token_type_ids",
        shape=shape,
        dtype="int64",
    )

    model = ErnieModel()
    out = model(input_ids, token_type_ids)
    exe = paddle.static.Executor(device)
    rst = exe.run(
            main_prog,
            feed={"input_ids": input_ids_data,
                  "token_type_ids": token_type_ids_data},
            fetch_list=[out],
        )

paddle-test-bot[bot] commented 1 year ago

您好！根据您的描述，目前PaddlePaddle仅提供了静态图训练时的混合精度（AMP）支持，而未提供静态图推理的混合精度支持。如果您想在静态图推理中开启AMP，您可以尝试以下两种方法：

动态图模式下的AMP推理：PaddlePaddle在动态图模式下提供了AMP推理的支持。您可以将前述的静态图代码转换为动态图模式的代码，并在该代码基础上启用AMP。具体代码如下：

import paddle

paddle.enable_static()  # 将代码切换为动态图模式

input_ids_data = ...
token_type_ids_data = ...

input_ids = paddle.static.data(
   name="input_ids",
   shape=shape,
   dtype="int64",
)

token_type_ids = paddle.static.data(
   name="token_type_ids",
   shape=shape,
   dtype="int64",
)

model = paddle.Model(ErnieModel())
model.prepare(
   paddle.optimizer.Adam(learning_rate=0.001),
   paddle.nn.CrossEntropyLoss(),
   paddle.metric.Accuracy(),
   amp_configs=paddle.amp.AutoMixedPrecisionConfigs(enable=True)  # 启用AMP
)
model.fit(
   train_data=None,
   eval_data=None,
   batch_size=None,
   epochs=None
)

out = model.predict(input_ids=input_ids_data, token_type_ids=token_type_ids_data)

请注意，在动态图模式下使用AMP时，您需要使用paddle.Model进行模型的训练和预测，并设置amp_configs参数为paddle.amp.AutoMixedPrecisionConfigs(enable=True)来启用AMP。

如果您仍想在静态图模式下进行AMP推理，可以尝试将您的静态图代码稍作修改，使用AMP库直接对计算过程进行处理。具体代码如下：

import paddle
import paddle.fluid as fluid

paddle.enable_static()

input_ids_data = ...
token_type_ids_data = ...

input_ids = paddle.static.data(
   name="input_ids",
   shape=shape,
   dtype="int64",
)

token_type_ids = paddle.static.data(
   name="token_type_ids",
   shape=shape,
   dtype="int64",
)

model = ErnieModel()
out = model(input_ids, token_type_ids)

place = fluid.CUDAPlace(0)  # 使用GPU
exe = fluid.Executor(place)

# 开启AMP
fluid.contrib.amp.fp16_guard()

exe.run(fluid.default_startup_program())
fluid.contrib.amp.load_vars(exe, fluid.default_main_program())

outs = exe.run(
   program=fluid.default_main_program(),
   feed={"input_ids": input_ids_data,
         "token_type_ids": token_type_ids_data},
   fetch_list=[out],
)

在静态图模式下，您可以使用fluid.contrib.amp.fp16_guard()启用AMP，并使用fluid.contrib.amp.load_vars()加载AMP所需的变量。然后，使用fluid.Executor进行计算。

请注意，以上两种方法都需要您安装最新版本的PaddlePaddle和AMP库，并根据自己的硬件环境修改代码中的设备相关设置（如使用CPU还是GPU）。希望能帮到您！如有其他问题，请随时提问。

paddle-test-bot[bot] commented 1 year ago

您好！目前PaddlePaddle的静态图模式下尚不支持直接开启AMP推理。但不用担心，您仍然可以通过将模型转换为动态图模式来开启AMP推理。

具体的解决方案如下：

将您的静态图模型转换为动态图模式。可以通过使用paddle.jit.to_static函数将静态图模型转换为动态图模式，并获得一个新的执行程序对象。
```
dynamic_program = paddle.jit.to_static(main_prog)
exe = paddle.static.Executor(device)
```
在转换后的动态图模型上启用AMP推理。您可以使用paddle.amp.auto_cast上下文管理器将推理过程包裹起来，以启用自动混合精度。
```
with paddle.amp.auto_cast():
rst = exe.run(dynamic_program, feed=..., fetch_list=...)
```
以上就是将静态图推理转为动态图推理，并在动态图推理中使用AMP的方法。希望对您有帮助！如果还有其他问题，请随时提问。

PaddlePaddle-Gardener / bot-test

静态图推理如何开启AMP? #18