search

thewh1teagle / vibe

Transcribe on your own!
https://thewh1teagle.github.io/vibe/
MIT License
929 stars 56 forks source link

Running the software on an Intel GPU #47

Closed Y-PLONI closed 5 months ago

Y-PLONI commented 5 months ago

Describe the feature

I have an Intel processor with GPU, Intel(R) UHD Graphics 620. It has 8 GB RAM that are not used at all. Is there a way for the software 1) to utilize this memory, 2) work on this GPU?

Y-PLONI commented 5 months ago

אני רואה שהנושא הוזכר כאן: https://github.com/thewh1teagle/vibe/issues/36#issuecomment-2048456089

thewh1teagle commented 5 months ago

As you mentioned currently vibe have cpu optimization only on windows / linux, Adding gpu optimization can be great and it should make the transcription faster, There's an open issue in whisper.cpp which related to that (It's more about nvidia, but not only)

Under the hood vibe uses OpenBlas to optimize cpu, there's a chance that if we'll use openCL it will be better, but I'm not sure about that. Maybe as starting point I'll compare Cblas release of whisper.cpp with vibe.

thewh1teagle commented 5 months ago

I added GPU optimization for Windows (using OpenCL), it should transcribe x1.5 faster! You can update it through the main window or from https://thewh1teagle.github.io/vibe/ I would love to know if it runs faster for you

Danthig commented 5 months ago

מדהים!!! ראיתי בתמלול הוא באמת השתמש בGPU image אבל עדיין אני לא יכול לדעת האם הוא יותר מהר. תודה רבה

thewh1teagle commented 5 months ago

מדהים!!! ראיתי בתמלול הוא באמת השתמש בGPU image אבל עדיין אני לא יכול לדעת האם הוא יותר מהר. תודה רבה

מעולה! נראה שזה באמת משתמש בGPU. אצלי המהירות עלתה פי 1.5 בערך - והזמן תמלול הפך להיות בערך אותו הזמן של ההקלטה, שיפור משמעותי לעומת מה שהיה לפני.

Y-PLONI commented 5 months ago

עם איזה GPU אתה משתמש? [עוד לא הספקתי לבדוק את המהירות שלי... רק הרגע עדכנתי] @thewh1teagle
[מנסה להבין מה נדרש כדי שהתמלול יהיה באיזור מהירות ההקלטה. השלב הבא לכאורה זה תמלול תוך כדי הקלטה. יתן לעשות זאת ע"י מודל שיקליט ויחלק כל כמה שניות כקובץ לבד, אך נצרך גם שחלק קטן מהקובץ שתומלל ישמר לקובץ הבא [למניעת חיתוך מילים], ואז אולי יהיו מילים כפולות... מסובך!

thewh1teagle commented 5 months ago

עם איזה GPU אתה משתמש? [עוד לא הספקתי לבדוק את המהירות שלי... רק הרגע עדכנתי] @thewh1teagle [מנסה להבין מה נדרש כדי שהתמלול יהיה באיזור מהירות ההקלטה. השלב הבא לכאורה זה תמלול תוך כדי הקלטה. יתן לעשות זאת ע"י מודל שיקליט ויחלק כל כמה שניות כקובץ לבד, אך נצרך גם שחלק קטן מהקובץ שתומלל ישמר לקובץ הבא [למניעת חיתוך מילים], ואז אולי יהיו מילים כפולות... מסובך!

יש לי מחשב ווינדוס עם מעבד amd ryzen 5 4500u שמשולב בו GPU ועליו התמלול לוקח בערך הזמן של האודיו

בנוסף, יש לי מחשב macOS עם מעבד m1 של אפל, והביצועים בו מאוד טובים - ברמה שאפשר לתמלל שעה של אודיו ב10 דקות (עשירית מהזמן)

Y-PLONI commented 5 months ago

מעניין... לי קובץ של 47 דקות לקח 52 דקות. 1) הGPU מנוצל רק חלקית, וגם זה לא כל הזמן. 2) המודל עולה לראם הרגיל ולא על הראם של הGPU. הנה צילומי מסך: צילום מסך 2024-04-16 203758

צילום מסך 2024-04-16 203814

Y-PLONI commented 5 months ago

מדהים!!! ראיתי בתמלול הוא באמת השתמש בGPU

גם אצלך הוא לא העלה את המודל לGPU, זה תופס הרבה יותר מ1GB.