dmMaze / BallonsTranslator

深度学习辅助漫画翻译工具, 支持一键机翻和简单的图像/文本编辑 | Yet another computer-aided comic/manga translation tool powered by deeplearning
GNU General Public License v3.0
2.71k stars 184 forks source link

"Is it possible to add my own text detector model trained from YOLO?" #634

Open KorawitP opened 6 days ago

bropines commented 6 days ago

Compare metrics with CTD and provide them here. If it's better, I'll add it

KorawitP commented 6 days ago

เปรียบเทียบหน่วยเมตริกกับ CTD และระบุไว้ที่นี่ หากดีกว่า ฉันจะเพิ่ม

"I’m not sure if these are reliable enough with the model. The new model is marked with red boxes, and the initial model with blue boxes." https://universe.roboflow.com/speechbubbledetection-y9yz3/bubble-detection-gbjon/model/2 https://drive.google.com/drive/folders/1CxejcNFeSetUNrIbsruCmD6HGHfT7Ojo?usp=sharing สกรีนช็อต 2024-10-30 193845 สกรีนช็อต 2024-10-30 193752 สกรีนช็อต 2024-10-30 193748 สกรีนช็อต 2024-10-30 193525

สกรีนช็อต 2024-10-27 153012 "However, I hope this model can work well, as my main goal is to translate the text within balloons and key content, focusing on placing the translated text centrally within the frame and formatting it well. I've designed this model with this in mind, as the Thai translations fit well with the approximate size of the detected frames."

lhj5426 commented 5 days ago

https://github.com/dmMaze/BallonsTranslator/issues/508 Not long ago, I also asked a similar question. I personally labeled over 100,000 images and trained my own model.

KorawitP commented 5 days ago

508 เหมือนกับ 100,000 อีกเช่นกัน าพเป็นเพียงส่วนตัว และฝึกฝนโมเดลของตัวเอง

"Wow, that's really awesome! I really want this model to be updated. It will significantly improve performance. I hope to use it very soon."

lhj5426 commented 5 days ago

508* เหมือนกับ 100,000 อีกเช่นกัน าพเป็นเพียงส่วนตัว และฝึกฝนโมเดลของตัวเอง

"Wow, that's really awesome! I really want this model to be updated. It will significantly improve performance. I hope to use it very soon."

image image

I mainly trained on full-color artist/illustrator CG images in this category.

KorawitP commented 5 days ago

508 * เช่นเดียวกับ 100,000 เช่นเดียวกับอาพเพียงอย่างเดียวส่วนตัวและฝึกฝนโมเดลของตัวเอง

“ว้าว เจ๋งมากเลย ฉันอยากให้มีการอัปเดตโมเดลนี้จริงๆ มันจะช่วยปรับปรุงประสิทธิภาพได้อย่างมาก ฉันหวังว่าจะได้ใช้มันเร็วๆ นี้”

ภาพ ภาพ

ฉันได้รับการฝึกฝนเป็นหลักในภาพ CG ของศิลปิน/นักวาดภาพประกอบแบบเต็มสีในหมวดหมู่นี้

"I see the great effort put into this development, which is something that should be supported. I just hope the developer can integrate this model into the program.
Would you be able to share the model?"

lhj5426 commented 5 days ago

508 เช่นเดียวกับ 100,000 เช่นเดียวกับอาพเพียงอย่างเดียวส่วนตัวและฝึกฝนโมเดลของตัวเอง

“ว้าว เจ๋งมากเลย ฉันอยากให้มีการอัปเดตโมเดลนี้จริงๆ มันจะช่วยปรับปรุงประสิทธิภาพได้อย่างมาก ฉันหวังว่าจะได้ใช้มันเร็วๆ นี้”

ภาพ ภาพ ฉันได้รับการฝึกฝนเป็นหลักในภาพ CG ของศิลปิน/นักวาดภาพประกอบแบบเต็มสีในหมวดหมู่นี้

"I see the great effort put into this development, which is something that should be supported. I just hope the_ developer _can integrate this model into the program. Would you be able to share the model?"

Currently, the training is not complete yet, so I cannot share it at the moment. You should be able to tell from the two random images I shared. There are still issues where the rectangular boxes don't fully encompass the text - I'm still fine-tuning it.

lhj5426 commented 5 days ago

image image Look, with the same images, my model performs poorly on black and white content. It still needs fine-tuning.

dmMaze commented 5 days ago

@lhj5426 @KorawitP
Thank you for your effort, which repository you're using to train these models? Is it https://github.com/ultralytics/ultralytics ?

lhj5426 commented 5 days ago

yolov11 yolo11x https://github.com/ultralytics/ultralytics

lhj5426 commented 5 days ago

还有obb 旋转矩形的目标检测模型

lhj5426 commented 5 days ago

@lhj5426 @KorawitP Thank you for your effort, which repository you're using to train these models? Is it https://github.com/ultralytics/ultralytics* ?

image image image 像这种的 就需要使用OBB模型