webui首次开启onediff后，Lora不生效

能正常切换lora的情况：不加controlnet，此时在Lora插件load_network函数打出的结果： sdmodel type <class 'onediff.infer_compiler.backends.oneflow.deployable_module.get_mixed_deployable_module..MixedOneflowDeployableModule'>
存在Lora粘连情况：加controlnet，此时在Lora插件load_network函数打出的结果： sdmodel type <class 'ldm.modules.diffusionmodules.openaimodel.UNetModel'> 是否是因为sd_models此时并没有替换，因此此时lora加载到的是原来的model，但生图时用的是替换过oneflow model。

通过观察，我发现不加controlnet的情况下，执行了替换shared.sd_model.model.diffusion_model = onediff_shared.current_unet_graph.graph_module ，因此lora生效；而加了controlnet之后，我尝试加了几个地方，都失败了，希望能给予我一些帮助，谢谢

也有可能是加载这个conv2d的lora权重时出的问题...但是直接用onediff_shared.current_unet_graph.graph_module替换p.sd_model.model.diffusion_model会报错

def hijacked_activate(activate_func): import networks

if hasattr(activate_func, "_onediff_hijacked"):
    return activate_func

def activate(self, p, params_list):
    activate_func(self, p, params_list)
    print("hijacking activated")
    print("p.sd_model.model.diffusion_model",type(p.sd_model.model.diffusion_model))
    print("onediff_shared.current_unet_graph.graph_module",type(onediff_shared.current_unet_graph.graph_module))
    if isinstance(p.sd_model.model.diffusion_model, DeployableModule):
        onediff_sd_model: DeployableModule = p.sd_model.model.diffusion_model
        for name, sub_module in onediff_sd_model.named_modules():
            if not isinstance(
                sub_module,
                (
                    torch.nn.Linear,
                    torch.nn.Conv2d,
                    torch.nn.GroupNorm,
                    torch.nn.LayerNorm,
                ),
            ):
                continue
            networks.network_apply_weights(sub_module)
            if is_oneflow_backend() and isinstance(sub_module, torch.nn.Conv2d):
                # TODO(WangYi): refine here
                from onediff.infer_compiler.backends.oneflow.param_utils import (
                    update_graph_related_tensor,
                )

                try:
                    update_graph_related_tensor(sub_module)
                except:
                    pass

activate._onediff_hijacked = True
return activate

siliconflow / onediff

webui首次开启onediff后，Lora不生效 #1141