ShineChen1024 / MagicClothing

Official implementation of Magic Clothing: Controllable Garment-Driven Image Synthesis
Other
1.42k stars 141 forks source link

The result is not as expected. can i have a specific demo #70

Open ZZHbible opened 7 months ago

ZZHbible commented 7 months ago

This is my directory structure: . ├── 1.jpg ├── LICENSE ├── README.md ├── checkpoints │ ├── ckpt.txt │ ├── cloth_segm.pth │ └── ipadapter_faceid │ ├── ckpt.txt │ ├── ip-adapter-faceid-plus_sd15.bin │ ├── ip-adapter-faceid-plus_sd15_lora.safetensors │ ├── ip-adapter-faceid-plusv2_sd15.bin │ ├── ip-adapter-faceid-plusv2_sd15_lora.safetensors │ ├── ip-adapter-faceid_sd15.bin │ └── ip-adapter-faceid_sd15_lora.safetensors ├── garment_adapter │ ├── pycache │ │ ├── attention_processor.cpython-310.pyc │ │ └── garment_diffusion.cpython-310.pyc │ ├── attention_processor.py │ ├── garment_diffusion.py │ └── garment_ipadapter_faceid.py ├── garment_seg │ ├── pycache │ │ ├── network.cpython-310.pyc │ │ └── process.cpython-310.pyc │ ├── network.py │ └── process.py ├── gradio_controlnet_inpainting.py ├── gradio_controlnet_openpose.py ├── gradio_generate.py ├── gradio_ipadapter_faceid.py ├── gradio_ipadapter_openpose.py ├── images │ ├── a0.jpg │ ├── a1.png │ ├── animatediff0.gif │ ├── animatediff1.gif │ ├── animatediff2.gif │ ├── b0.jpg │ ├── b1.png │ ├── c0.jpg │ ├── c1.png │ ├── demo.png │ └── workflow.png ├── inference.py ├── metric │ ├── MP_LPIPS │ │ ├── metric_MP_LPIPS.py │ │ └── src │ │ └── models │ │ └── dift_sd.py │ ├── README.md │ └── humanparsing │ ├── datasets │ │ ├── init.py │ │ ├── datasets.py │ │ ├── simple_extractor_dataset.py │ │ └── target_generation.py │ ├── mhp_extension │ │ ├── coco_style_annotation_creator │ │ │ ├── human_to_coco.py │ │ │ ├── pycococreatortools.py │ │ │ └── test_human2coco_format.py │ │ ├── detectron2 │ │ │ ├── GETTING_STARTED.md │ │ │ ├── INSTALL.md │ │ │ ├── LICENSE │ │ │ ├── MODEL_ZOO.md │ │ │ ├── README.md │ │ │ ├── configs │ │ │ │ ├── Base-RCNN-C4.yaml │ │ │ │ ├── Base-RCNN-DilatedC5.yaml │ │ │ │ ├── Base-RCNN-FPN.yaml │ │ │ │ ├── Base-RetinaNet.yaml │ │ │ │ ├── COCO-Detection │ │ │ │ │ ├── fast_rcnn_R_50_FPN_1x.yaml │ │ │ │ │ ├── faster_rcnn_R_101_C4_3x.yaml │ │ │ │ │ ├── faster_rcnn_R_101_DC5_3x.yaml │ │ │ │ │ ├── faster_rcnn_R_101_FPN_3x.yaml │ │ │ │ │ ├── faster_rcnn_R_50_C4_1x.yaml │ │ │ │ │ ├── faster_rcnn_R_50_C4_3x.yaml │ │ │ │ │ ├── faster_rcnn_R_50_DC5_1x.yaml │ │ │ │ │ ├── faster_rcnn_R_50_DC5_3x.yaml │ │ │ │ │ ├── faster_rcnn_R_50_FPN_1x.yaml │ │ │ │ │ ├── faster_rcnn_R_50_FPN_3x.yaml │ │ │ │ │ ├── faster_rcnn_X_101_32x8d_FPN_3x.yaml │ │ │ │ │ ├── retinanet_R_101_FPN_3x.yaml │ │ │ │ │ ├── retinanet_R_50_FPN_1x.yaml │ │ │ │ │ ├── retinanet_R_50_FPN_3x.yaml │ │ │ │ │ ├── rpn_R_50_C4_1x.yaml │ │ │ │ │ └── rpn_R_50_FPN_1x.yaml │ │ │ │ ├── COCO-InstanceSegmentation │ │ │ │ │ ├── mask_rcnn_R_101_C4_3x.yaml │ │ │ │ │ ├── mask_rcnn_R_101_DC5_3x.yaml │ │ │ │ │ ├── mask_rcnn_R_101_FPN_3x.yaml │ │ │ │ │ ├── mask_rcnn_R_50_C4_1x.yaml │ │ │ │ │ ├── mask_rcnn_R_50_C4_3x.yaml │ │ │ │ │ ├── mask_rcnn_R_50_DC5_1x.yaml │ │ │ │ │ ├── mask_rcnn_R_50_DC5_3x.yaml │ │ │ │ │ ├── mask_rcnn_R_50_FPN_1x.yaml │ │ │ │ │ ├── mask_rcnn_R_50_FPN_3x.yaml │ │ │ │ │ └── mask_rcnn_X_101_32x8d_FPN_3x.yaml │ │ │ │ ├── COCO-Keypoints │ │ │ │ │ ├── Base-Keypoint-RCNN-FPN.yaml │ │ │ │ │ ├── keypoint_rcnn_R_101_FPN_3x.yaml │ │ │ │ │ ├── keypoint_rcnn_R_50_FPN_1x.yaml │ │ │ │ │ ├── keypoint_rcnn_R_50_FPN_3x.yaml │ │ │ │ │ └── keypoint_rcnn_X_101_32x8d_FPN_3x.yaml │ │ │ │ ├── COCO-PanopticSegmentation │ │ │ │ │ ├── Base-Panoptic-FPN.yaml │ │ │ │ │ ├── panoptic_fpn_R_101_3x.yaml │ │ │ │ │ ├── panoptic_fpn_R_50_1x.yaml │ │ │ │ │ └── panoptic_fpn_R_50_3x.yaml │ │ │ │ ├── Cityscapes │ │ │ │ │ └── mask_rcnn_R_50_FPN.yaml │ │ │ │ ├── Detectron1-Comparisons │ │ │ │ │ ├── README.md │ │ │ │ │ ├── faster_rcnn_R_50_FPN_noaug_1x.yaml │ │ │ │ │ ├── keypoint_rcnn_R_50_FPN_1x.yaml │ │ │ │ │ └── mask_rcnn_R_50_FPN_noaug_1x.yaml │ │ │ │ ├── LVIS-InstanceSegmentation │ │ │ │ │ ├── mask_rcnn_R_101_FPN_1x.yaml │ │ │ │ │ ├── mask_rcnn_R_50_FPN_1x.yaml │ │ │ │ │ └── mask_rcnn_X_101_32x8d_FPN_1x.yaml │ │ │ │ ├── Misc │ │ │ │ │ ├── cascade_mask_rcnn_R_50_FPN_1x.yaml │ │ │ │ │ ├── cascade_mask_rcnn_R_50_FPN_3x.yaml │ │ │ │ │ ├── cascade_mask_rcnn_X_152_32x8d_FPN_IN5k_gn_dconv.yaml │ │ │ │ │ ├── cascade_mask_rcnn_X_152_32x8d_FPN_IN5k_gn_dconv_parsing.yaml │ │ │ │ │ ├── demo.yaml │ │ │ │ │ ├── mask_rcnn_R_50_FPN_1x_cls_agnostic.yaml │ │ │ │ │ ├── mask_rcnn_R_50_FPN_1x_dconv_c3-c5.yaml │ │ │ │ │ ├── mask_rcnn_R_50_FPN_3x_dconv_c3-c5.yaml │ │ │ │ │ ├── mask_rcnn_R_50_FPN_3x_gn.yaml │ │ │ │ │ ├── mask_rcnn_R_50_FPN_3x_syncbn.yaml │ │ │ │ │ ├── panoptic_fpn_R_101_dconv_cascade_gn_3x.yaml │ │ │ │ │ ├── parsing_finetune_cihp.yaml │ │ │ │ │ ├── parsing_inference.yaml │ │ │ │ │ ├── scratch_mask_rcnn_R_50_FPN_3x_gn.yaml │ │ │ │ │ ├── scratch_mask_rcnn_R_50_FPN_9x_gn.yaml │ │ │ │ │ ├── scratch_mask_rcnn_R_50_FPN_9x_syncbn.yaml │ │ │ │ │ └── semantic_R_50_FPN_1x.yaml │ │ │ │ ├── PascalVOC-Detection │ │ │ │ │ ├── faster_rcnn_R_50_C4.yaml │ │ │ │ │ └── faster_rcnn_R_50_FPN.yaml │ │ │ │ ├── my_Base-RCNN-FPN.yaml │ │ │ │ └── quick_schedules │ │ │ │ ├── README.md │ │ │ │ ├── cascade_mask_rcnn_R_50_FPN_inference_acc_test.yaml │ │ │ │ ├── cascade_mask_rcnn_R_50_FPN_instant_test.yaml │ │ │ │ ├── fast_rcnn_R_50_FPN_inference_acc_test.yaml │ │ │ │ ├── fast_rcnn_R_50_FPN_instant_test.yaml │ │ │ │ ├── keypoint_rcnn_R_50_FPN_inference_acc_test.yaml │ │ │ │ ├── keypoint_rcnn_R_50_FPN_instant_test.yaml │ │ │ │ ├── keypoint_rcnn_R_50_FPN_normalized_training_acc_test.yaml │ │ │ │ ├── keypoint_rcnn_R_50_FPN_training_acc_test.yaml │ │ │ │ ├── mask_rcnn_R_50_C4_GCV_instant_test.yaml │ │ │ │ ├── mask_rcnn_R_50_C4_inference_acc_test.yaml │ │ │ │ ├── mask_rcnn_R_50_C4_instant_test.yaml │ │ │ │ ├── mask_rcnn_R_50_C4_training_acc_test.yaml │ │ │ │ ├── mask_rcnn_R_50_DC5_inference_acc_test.yaml │ │ │ │ ├── mask_rcnn_R_50_FPN_inference_acc_test.yaml │ │ │ │ ├── mask_rcnn_R_50_FPN_instant_test.yaml │ │ │ │ ├── mask_rcnn_R_50_FPN_training_acc_test.yaml │ │ │ │ ├── panoptic_fpn_R_50_inference_acc_test.yaml │ │ │ │ ├── panoptic_fpn_R_50_instant_test.yaml │ │ │ │ ├── panoptic_fpn_R_50_training_acc_test.yaml │ │ │ │ ├── retinanet_R_50_FPN_inference_acc_test.yaml │ │ │ │ ├── retinanet_R_50_FPN_instant_test.yaml │ │ │ │ ├── rpn_R_50_FPN_inference_acc_test.yaml │ │ │ │ ├── rpn_R_50_FPN_instant_test.yaml │ │ │ │ ├── semantic_R_50_FPN_inference_acc_test.yaml │ │ │ │ ├── semantic_R_50_FPN_instant_test.yaml │ │ │ │ └── semantic_R_50_FPN_training_acc_test.yaml │ │ │ ├── demo │ │ │ │ ├── README.md │ │ │ │ ├── demo.py │ │ │ │ └── predictor.py │ │ │ ├── detectron2 │ │ │ │ ├── init.py │ │ │ │ ├── checkpoint │ │ │ │ │ ├── init.py │ │ │ │ │ ├── c2_model_loading.py │ │ │ │ │ ├── catalog.py │ │ │ │ │ └── detection_checkpoint.py │ │ │ │ ├── config │ │ │ │ │ ├── init.py │ │ │ │ │ ├── compat.py │ │ │ │ │ ├── config.py │ │ │ │ │ └── defaults.py │ │ │ │ ├── data │ │ │ │ │ ├── init.py │ │ │ │ │ ├── build.py │ │ │ │ │ ├── catalog.py │ │ │ │ │ ├── common.py │ │ │ │ │ ├── dataset_mapper.py │ │ │ │ │ ├── datasets │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ ├── builtin.py │ │ │ │ │ │ ├── builtin_meta.py │ │ │ │ │ │ ├── cityscapes.py │ │ │ │ │ │ ├── coco.py │ │ │ │ │ │ ├── lvis.py │ │ │ │ │ │ ├── lvis_v0_5_categories.py │ │ │ │ │ │ ├── pascal_voc.py │ │ │ │ │ │ └── register_coco.py │ │ │ │ │ ├── detection_utils.py │ │ │ │ │ ├── samplers │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ ├── distributed_sampler.py │ │ │ │ │ │ └── grouped_batch_sampler.py │ │ │ │ │ └── transforms │ │ │ │ │ ├── init.py │ │ │ │ │ ├── transform.py │ │ │ │ │ └── transform_gen.py │ │ │ │ ├── engine │ │ │ │ │ ├── init.py │ │ │ │ │ ├── defaults.py │ │ │ │ │ ├── hooks.py │ │ │ │ │ ├── launch.py │ │ │ │ │ └── train_loop.py │ │ │ │ ├── evaluation │ │ │ │ │ ├── init.py │ │ │ │ │ ├── cityscapes_evaluation.py │ │ │ │ │ ├── coco_evaluation.py │ │ │ │ │ ├── evaluator.py │ │ │ │ │ ├── lvis_evaluation.py │ │ │ │ │ ├── panoptic_evaluation.py │ │ │ │ │ ├── pascal_voc_evaluation.py │ │ │ │ │ ├── rotated_coco_evaluation.py │ │ │ │ │ ├── sem_seg_evaluation.py │ │ │ │ │ └── testing.py │ │ │ │ ├── export │ │ │ │ │ ├── README.md │ │ │ │ │ ├── init.py │ │ │ │ │ ├── api.py │ │ │ │ │ ├── c10.py │ │ │ │ │ ├── caffe2_export.py │ │ │ │ │ ├── caffe2_inference.py │ │ │ │ │ ├── caffe2_modeling.py │ │ │ │ │ ├── patcher.py │ │ │ │ │ └── shared.py │ │ │ │ ├── layers │ │ │ │ │ ├── init.py │ │ │ │ │ ├── batch_norm.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── csrc │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── ROIAlign │ │ │ │ │ │ │ ├── ROIAlign.h │ │ │ │ │ │ │ ├── ROIAlign_cpu.cpp │ │ │ │ │ │ │ └── ROIAlign_cuda.cu │ │ │ │ │ │ ├── ROIAlignRotated │ │ │ │ │ │ │ ├── ROIAlignRotated.h │ │ │ │ │ │ │ ├── ROIAlignRotated_cpu.cpp │ │ │ │ │ │ │ └── ROIAlignRotated_cuda.cu │ │ │ │ │ │ ├── box_iou_rotated │ │ │ │ │ │ │ ├── box_iou_rotated.h │ │ │ │ │ │ │ ├── box_iou_rotated_cpu.cpp │ │ │ │ │ │ │ ├── box_iou_rotated_cuda.cu │ │ │ │ │ │ │ └── box_iou_rotated_utils.h │ │ │ │ │ │ ├── cuda_version.cu │ │ │ │ │ │ ├── deformable │ │ │ │ │ │ │ ├── deform_conv.h │ │ │ │ │ │ │ ├── deform_conv_cuda.cu │ │ │ │ │ │ │ └── deform_conv_cuda_kernel.cu │ │ │ │ │ │ ├── nms_rotated │ │ │ │ │ │ │ ├── nms_rotated.h │ │ │ │ │ │ │ ├── nms_rotated_cpu.cpp │ │ │ │ │ │ │ └── nms_rotated_cuda.cu │ │ │ │ │ │ └── vision.cpp │ │ │ │ │ ├── deform_conv.py │ │ │ │ │ ├── mask_ops.py │ │ │ │ │ ├── nms.py │ │ │ │ │ ├── roi_align.py │ │ │ │ │ ├── roi_align_rotated.py │ │ │ │ │ ├── rotated_boxes.py │ │ │ │ │ ├── shape_spec.py │ │ │ │ │ └── wrappers.py │ │ │ │ ├── model_zoo │ │ │ │ │ ├── init.py │ │ │ │ │ └── model_zoo.py │ │ │ │ ├── modeling │ │ │ │ │ ├── init.py │ │ │ │ │ ├── anchor_generator.py │ │ │ │ │ ├── backbone │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ ├── backbone.py │ │ │ │ │ │ ├── build.py │ │ │ │ │ │ ├── fpn.py │ │ │ │ │ │ └── resnet.py │ │ │ │ │ ├── box_regression.py │ │ │ │ │ ├── matcher.py │ │ │ │ │ ├── meta_arch │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ ├── build.py │ │ │ │ │ │ ├── panoptic_fpn.py │ │ │ │ │ │ ├── rcnn.py │ │ │ │ │ │ ├── retinanet.py │ │ │ │ │ │ └── semantic_seg.py │ │ │ │ │ ├── poolers.py │ │ │ │ │ ├── postprocessing.py │ │ │ │ │ ├── proposal_generator │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ ├── build.py │ │ │ │ │ │ ├── proposal_utils.py │ │ │ │ │ │ ├── rpn.py │ │ │ │ │ │ ├── rpn_outputs.py │ │ │ │ │ │ └── rrpn.py │ │ │ │ │ ├── roi_heads │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ ├── box_head.py │ │ │ │ │ │ ├── cascade_rcnn.py │ │ │ │ │ │ ├── fast_rcnn.py │ │ │ │ │ │ ├── keypoint_head.py │ │ │ │ │ │ ├── mask_head.py │ │ │ │ │ │ ├── roi_heads.py │ │ │ │ │ │ └── rotated_fast_rcnn.py │ │ │ │ │ ├── sampling.py │ │ │ │ │ └── test_time_augmentation.py │ │ │ │ ├── solver │ │ │ │ │ ├── init.py │ │ │ │ │ ├── build.py │ │ │ │ │ └── lr_scheduler.py │ │ │ │ ├── structures │ │ │ │ │ ├── init.py │ │ │ │ │ ├── boxes.py │ │ │ │ │ ├── image_list.py │ │ │ │ │ ├── instances.py │ │ │ │ │ ├── keypoints.py │ │ │ │ │ ├── masks.py │ │ │ │ │ └── rotated_boxes.py │ │ │ │ └── utils │ │ │ │ ├── README.md │ │ │ │ ├── init.py │ │ │ │ ├── analysis.py │ │ │ │ ├── collect_env.py │ │ │ │ ├── colormap.py │ │ │ │ ├── comm.py │ │ │ │ ├── env.py │ │ │ │ ├── events.py │ │ │ │ ├── logger.py │ │ │ │ ├── memory.py │ │ │ │ ├── registry.py │ │ │ │ ├── serialize.py │ │ │ │ ├── video_visualizer.py │ │ │ │ └── visualizer.py │ │ │ ├── dev │ │ │ │ ├── README.md │ │ │ │ ├── linter.sh │ │ │ │ ├── packaging │ │ │ │ │ ├── README.md │ │ │ │ │ ├── build_all_wheels.sh │ │ │ │ │ ├── build_wheel.sh │ │ │ │ │ ├── gen_wheel_index.sh │ │ │ │ │ └── pkg_helpers.bash │ │ │ │ ├── parse_results.sh │ │ │ │ ├── run_inference_tests.sh │ │ │ │ └── run_instant_tests.sh │ │ │ ├── docker │ │ │ │ ├── Dockerfile │ │ │ │ ├── Dockerfile-circleci │ │ │ │ ├── README.md │ │ │ │ └── docker-compose.yml │ │ │ ├── docs │ │ │ │ ├── Makefile │ │ │ │ ├── README.md │ │ │ │ ├── conf.py │ │ │ │ ├── index.rst │ │ │ │ ├── modules │ │ │ │ │ ├── checkpoint.rst │ │ │ │ │ ├── config.rst │ │ │ │ │ ├── data.rst │ │ │ │ │ ├── engine.rst │ │ │ │ │ ├── evaluation.rst │ │ │ │ │ ├── export.rst │ │ │ │ │ ├── index.rst │ │ │ │ │ ├── layers.rst │ │ │ │ │ ├── model_zoo.rst │ │ │ │ │ ├── modeling.rst │ │ │ │ │ ├── solver.rst │ │ │ │ │ ├── structures.rst │ │ │ │ │ └── utils.rst │ │ │ │ ├── notes │ │ │ │ │ ├── benchmarks.md │ │ │ │ │ ├── changelog.md │ │ │ │ │ ├── compatibility.md │ │ │ │ │ ├── contributing.md │ │ │ │ │ └── index.rst │ │ │ │ └── tutorials │ │ │ │ ├── README.md │ │ │ │ ├── builtin_datasets.md │ │ │ │ ├── configs.md │ │ │ │ ├── data_loading.md │ │ │ │ ├── datasets.md │ │ │ │ ├── deployment.md │ │ │ │ ├── evaluation.md │ │ │ │ ├── extend.md │ │ │ │ ├── getting_started.md │ │ │ │ ├── index.rst │ │ │ │ ├── install.md │ │ │ │ ├── models.md │ │ │ │ ├── training.md │ │ │ │ └── write-models.md │ │ │ ├── projects │ │ │ │ ├── DensePose │ │ │ │ │ ├── README.md │ │ │ │ │ ├── apply_net.py │ │ │ │ │ ├── configs │ │ │ │ │ │ ├── Base-DensePose-RCNN-FPN.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_101_FPN_DL_WC1_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_101_FPN_DL_WC2_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_101_FPN_DL_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_101_FPN_WC1_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_101_FPN_WC2_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_101_FPN_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_101_FPN_s1x_legacy.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_DL_WC1_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_DL_WC2_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_DL_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_WC1_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_WC2_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_s1x.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_s1x_legacy.yaml │ │ │ │ │ │ ├── evolution │ │ │ │ │ │ │ ├── Base-RCNN-FPN-MC.yaml │ │ │ │ │ │ │ └── faster_rcnn_R_50_FPN_1x_MC.yaml │ │ │ │ │ │ └── quick_schedules │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_DL_instant_test.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_TTA_inference_acc_test.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_WC1_instant_test.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_WC2_instant_test.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_inference_acc_test.yaml │ │ │ │ │ │ ├── densepose_rcnn_R_50_FPN_instant_test.yaml │ │ │ │ │ │ └── densepose_rcnn_R_50_FPN_training_acc_test.yaml │ │ │ │ │ ├── densepose │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ ├── config.py │ │ │ │ │ │ ├── data │ │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ │ ├── build.py │ │ │ │ │ │ │ ├── dataset_mapper.py │ │ │ │ │ │ │ ├── datasets │ │ │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ │ │ ├── builtin.py │ │ │ │ │ │ │ │ └── coco.py │ │ │ │ │ │ │ └── structures.py │ │ │ │ │ │ ├── densepose_coco_evaluation.py │ │ │ │ │ │ ├── densepose_head.py │ │ │ │ │ │ ├── evaluator.py │ │ │ │ │ │ ├── modeling │ │ │ │ │ │ │ └── test_time_augmentation.py │ │ │ │ │ │ ├── roi_head.py │ │ │ │ │ │ ├── utils │ │ │ │ │ │ │ ├── dbhelper.py │ │ │ │ │ │ │ ├── logger.py │ │ │ │ │ │ │ └── transform.py │ │ │ │ │ │ └── vis │ │ │ │ │ │ ├── base.py │ │ │ │ │ │ ├── bounding_box.py │ │ │ │ │ │ ├── densepose.py │ │ │ │ │ │ └── extractor.py │ │ │ │ │ ├── dev │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── run_inference_tests.sh │ │ │ │ │ │ └── run_instant_tests.sh │ │ │ │ │ ├── doc │ │ │ │ │ │ ├── GETTING_STARTED.md │ │ │ │ │ │ ├── MODEL_ZOO.md │ │ │ │ │ │ ├── TOOL_APPLY_NET.md │ │ │ │ │ │ └── TOOL_QUERY_DB.md │ │ │ │ │ ├── query_db.py │ │ │ │ │ ├── tests │ │ │ │ │ │ ├── common.py │ │ │ │ │ │ ├── test_model_e2e.py │ │ │ │ │ │ ├── test_setup.py │ │ │ │ │ │ └── test_structures.py │ │ │ │ │ └── train_net.py │ │ │ │ ├── PointRend │ │ │ │ │ ├── README.md │ │ │ │ │ ├── configs │ │ │ │ │ │ ├── InstanceSegmentation │ │ │ │ │ │ │ ├── Base-PointRend-RCNN-FPN.yaml │ │ │ │ │ │ │ ├── pointrend_rcnn_R_50_FPN_1x_cityscapes.yaml │ │ │ │ │ │ │ ├── pointrend_rcnn_R_50_FPN_1x_coco.yaml │ │ │ │ │ │ │ ├── pointrend_rcnn_R_50_FPN_3x_coco.yaml │ │ │ │ │ │ │ ├── pointrend_rcnn_R_50_FPN_3x_parsing.yaml │ │ │ │ │ │ │ └── pointrend_rcnn_X_101_32x8d_FPN_3x_parsing.yaml │ │ │ │ │ │ └── SemanticSegmentation │ │ │ │ │ │ ├── Base-PointRend-Semantic-FPN.yaml │ │ │ │ │ │ ├── pointrend_semantic_R_101_FPN_1x_cityscapes.yaml │ │ │ │ │ │ └── pointrend_semantic_R_50_FPN_1x_coco.yaml │ │ │ │ │ ├── finetune_net.py │ │ │ │ │ ├── logs │ │ │ │ │ │ └── hadoop.kylin.libdfs.log │ │ │ │ │ ├── point_rend │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ ├── coarse_mask_head.py │ │ │ │ │ │ ├── color_augmentation.py │ │ │ │ │ │ ├── config.py │ │ │ │ │ │ ├── dataset_mapper.py │ │ │ │ │ │ ├── point_features.py │ │ │ │ │ │ ├── point_head.py │ │ │ │ │ │ ├── roi_heads.py │ │ │ │ │ │ └── semantic_seg.py │ │ │ │ │ ├── run.sh │ │ │ │ │ └── train_net.py │ │ │ │ ├── README.md │ │ │ │ ├── TensorMask │ │ │ │ │ ├── README.md │ │ │ │ │ ├── configs │ │ │ │ │ │ ├── Base-TensorMask.yaml │ │ │ │ │ │ ├── tensormask_R_50_FPN_1x.yaml │ │ │ │ │ │ └── tensormask_R_50_FPN_6x.yaml │ │ │ │ │ ├── setup.py │ │ │ │ │ ├── tensormask │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ ├── arch.py │ │ │ │ │ │ ├── config.py │ │ │ │ │ │ └── layers │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ ├── csrc │ │ │ │ │ │ │ ├── SwapAlign2Nat │ │ │ │ │ │ │ │ ├── SwapAlign2Nat.h │ │ │ │ │ │ │ │ └── SwapAlign2Nat_cuda.cu │ │ │ │ │ │ │ └── vision.cpp │ │ │ │ │ │ └── swap_align2nat.py │ │ │ │ │ ├── tests │ │ │ │ │ │ ├── init.py │ │ │ │ │ │ └── test_swap_align2nat.py │ │ │ │ │ └── train_net.py │ │ │ │ └── TridentNet │ │ │ │ ├── README.md │ │ │ │ ├── configs │ │ │ │ │ ├── Base-TridentNet-Fast-C4.yaml │ │ │ │ │ ├── tridentnet_fast_R_101_C4_3x.yaml │ │ │ │ │ ├── tridentnet_fast_R_50_C4_1x.yaml │ │ │ │ │ └── tridentnet_fast_R_50_C4_3x.yaml │ │ │ │ ├── train_net.py │ │ │ │ └── tridentnet │ │ │ │ ├── init.py │ │ │ │ ├── config.py │ │ │ │ ├── trident_backbone.py │ │ │ │ ├── trident_conv.py │ │ │ │ ├── trident_rcnn.py │ │ │ │ └── trident_rpn.py │ │ │ ├── setup.cfg │ │ │ ├── setup.py │ │ │ ├── tests │ │ │ │ ├── README.md │ │ │ │ ├── init.py │ │ │ │ ├── data │ │ │ │ │ ├── init.py │ │ │ │ │ ├── test_coco.py │ │ │ │ │ ├── test_detection_utils.py │ │ │ │ │ ├── test_rotation_transform.py │ │ │ │ │ ├── test_sampler.py │ │ │ │ │ └── test_transforms.py │ │ │ │ ├── layers │ │ │ │ │ ├── init.py │ │ │ │ │ ├── test_mask_ops.py │ │ │ │ │ ├── test_nms_rotated.py │ │ │ │ │ ├── test_roi_align.py │ │ │ │ │ └── test_roi_align_rotated.py │ │ │ │ ├── modeling │ │ │ │ │ ├── init.py │ │ │ │ │ ├── test_anchor_generator.py │ │ │ │ │ ├── test_box2box_transform.py │ │ │ │ │ ├── test_fast_rcnn.py │ │ │ │ │ ├── test_model_e2e.py │ │ │ │ │ ├── test_roi_heads.py │ │ │ │ │ ├── test_roi_pooler.py │ │ │ │ │ └── test_rpn.py │ │ │ │ ├── structures │ │ │ │ │ ├── init.py │ │ │ │ │ ├── test_boxes.py │ │ │ │ │ ├── test_imagelist.py │ │ │ │ │ ├── test_instances.py │ │ │ │ │ └── test_rotated_boxes.py │ │ │ │ ├── test_checkpoint.py │ │ │ │ ├── test_config.py │ │ │ │ ├── test_export_caffe2.py │ │ │ │ ├── test_model_analysis.py │ │ │ │ ├── test_model_zoo.py │ │ │ │ └── test_visualizer.py │ │ │ └── tools │ │ │ ├── README.md │ │ │ ├── analyze_model.py │ │ │ ├── benchmark.py │ │ │ ├── convert-torchvision-to-d2.py │ │ │ ├── deploy │ │ │ │ ├── README.md │ │ │ │ ├── caffe2_converter.py │ │ │ │ ├── caffe2_mask_rcnn.cpp │ │ │ │ └── torchscript_traced_mask_rcnn.cpp │ │ │ ├── finetune_net.py │ │ │ ├── inference.sh │ │ │ ├── plain_train_net.py │ │ │ ├── run.sh │ │ │ ├── train_net.py │ │ │ ├── visualize_data.py │ │ │ └── visualize_json_results.py │ │ ├── global_local_parsing │ │ │ ├── global_local_datasets.py │ │ │ ├── global_local_evaluate.py │ │ │ ├── global_local_train.py │ │ │ └── make_id_list.py │ │ ├── logits_fusion.py │ │ ├── make_crop_and_mask_w_mask_nms.py │ │ └── scripts │ │ ├── make_coco_style_annotation.sh │ │ ├── make_crop.sh │ │ └── parsing_fusion.sh │ ├── modules │ │ ├── init.py │ │ ├── bn.py │ │ ├── deeplab.py │ │ ├── dense.py │ │ ├── functions.py │ │ ├── misc.py │ │ ├── residual.py │ │ └── src │ │ ├── checks.h │ │ ├── inplace_abn.cpp │ │ ├── inplace_abn.h │ │ ├── inplace_abn_cpu.cpp │ │ ├── inplace_abn_cuda.cu │ │ ├── inplace_abn_cuda_half.cu │ │ └── utils │ │ ├── checks.h │ │ ├── common.h │ │ └── cuda.cuh │ ├── networks │ │ ├── AugmentCE2P.py │ │ ├── init.py │ │ ├── backbone │ │ │ ├── mobilenetv2.py │ │ │ ├── resnet.py │ │ │ └── resnext.py │ │ └── context_encoding │ │ ├── aspp.py │ │ ├── ocnet.py │ │ └── psp.py │ ├── parsing_api.py │ ├── run_parsing.py │ └── utils │ ├── init.py │ ├── consistency_loss.py │ ├── criterion.py │ ├── encoding.py │ ├── kl_loss.py │ ├── lovasz_softmax.py │ ├── miou.py │ ├── schp.py │ ├── soft_dice_loss.py │ ├── transforms.py │ └── warmup_scheduler.py ├── models │ ├── OMS_1024_VTHD+DressCode_160000.safetensors │ └── oms_diffusion_512_100000.safetensors ├── output_img │ ├── out_0.png │ ├── out_1.png │ ├── out_2.png │ └── out_3.png ├── pipelines │ ├── OmsAnimateDiffusionPipeline.py │ ├── OmsDiffusionControlNetPipeline.py │ ├── OmsDiffusionInpaintPipeline.py │ ├── OmsDiffusionPipeline.py │ ├── VirtualTryOnPipeline.py │ └── pycache │ └── OmsDiffusionPipeline.cpython-310.pyc ├── requirements.txt ├── utils │ ├── pycache │ │ └── utils.cpython-310.pyc │ ├── resampler.py │ └── utils.py └── valid_cloth ├── t1.png ├── t2.jpg ├── t3.jpg ├── t4.jpg ├── t5.jpg ├── t6.png └── t7.jpg

python gradio_generate.py --model_path models/oms_diffusion_512_100000.safetensors

image

Why is the cloth_mask all black? Is there something wrong with it?

ShineChen1024 commented 7 months ago

cloth_segm is a lightweight model which may perform poor to seg out the cloth area, upload the mask of original or try other segmentation networks will work well. And we recommand you to use 768 ckpt, which has better performance.

ZZHbible commented 7 months ago

Will we consider supporting the SAM model for cloth segmentation in the future?

Nuclear6 commented 6 months ago

image

Sure enough, uploading a mask improved the effect.