BUD-E-Whisper

מה זה

במקום לתת טקסט נקי בלבד, המודל הזה מתמלל דיבור יחד עם תיאור הרגש שנלווה אליו. מדובר בכיוונון של גרסת הסמול של וויספר המקורית, עם 242 מיליון פרמטרים ומשקל קבצים של פחות מג'יגה, כך שהוא לא דורש שרתים מנופחים. מעבר ליצירת כתוביות רגשיות, הייצוגים הפנימיים שלו מיועדים לשמש כקלט למודלי המשך לחיזוי ציוני רגש מדויקים.

האימון שלו נשען על מאגר שכלל כחמשת אלפים שעות של בלוגים פומביים יחד עם דאטה־סט נוסף. היוצרים השתמשו במודל חיצוני כדי לדרג עשרות ממדי רגש, גיל ועוצמה קולית, המירו אותם לתבניות טקסט, וניסחו אותם מחדש כדי ללמד את וויספר לייצר תיאורים עשירים במקום להסתמך על חיזוי מספרי יבש שהתברר כפחות יעיל.

מתאים ל

• כתוביות עם הקשר רגשי

  יצירת כתוביות לתוכן וידאו שמשקפות לא רק את המילים אלא גם כעס, התרגשות או נימה צינית.

• חילוץ וקטורים לניתוח קול

  שימוש באמבדינגס של המודל כדי להזין מודלי המשך שמחשבים ציוני רגש כמותיים על קטעי שמע.

• תיוג רגשי לוולוגים והסכתים

  מיון אוטומטי של קטעי שיחה לפי האווירה והטון של הדוברים על בסיס נתוני תמלול עשירים.

איפה זה נופל

האימון התבסס ברובו על ולוגים מיוטיוב, כך שהוא רגיל לדיבור מול מצלמה ואיכות שמע טיפוסית של רשת. לא פורסמו בכרטיס המודל נתוני דיוק כמותיים או ציוני שגיאות, ולכן אי אפשר לדעת מראש עד כמה התיאורים הרגשיים מדויקים ועקביים בלי לבדוק אותם על ההקלטות שלכם. בנוסף, אם שפת היעד שלכם היא עברית, סביר מאוד שהיכולת שלו לתאר רגש בעברית תהיה מוגבלת ביחס לאנגלית.

איך מריצים

עם משקל כולל של 924 מגהבייט, אפשר להריץ אותו בקלות על כרטיס מסך בסיסי או אפילו בסביבת בדיקה חינמית, ויש לו מחברת קולאב מוכנה שמציגה איך לעבוד איתו. אין פה צורך בתשתיות כבדות של שרתי עיבוד מורכבים.

הרצה עצמאית מתאימה למי שרוצה שליטה מלאה על העיבוד או מעוניין להוציא את האמבדינגס להמשך ניתוח קולי. אם אתם צריכים רק תמלול רגיל ובקנה מידה גדול, עדיף להשתמש בפתרונות ענן סטנדרטיים של וויספר במקום להתעסק בתחזוקה של מודל ייעודי.

pip install -U huggingface_hub
hf download laion/BUD-E-Whisper

הקבצים

12 קבצים במאגר, 924 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors967.0 MB
• vocab.json1.0 MB
• merges.txt493.9 KB
• tokenizer_config.json282.7 KB
• normalizer.json52.7 KB
• added_tokens.json34.6 KB
• generation_config.json3.8 KB
• README.md2.6 KB
• special_tokens_map.json2.2 KB
• .gitattributes1.5 KB
• config.json1.4 KB
• preprocessor_config.json339 B

הרישיון

הרישיון הוא סיסי בי ארבע אפס, שמתיר שימוש מסחרי, שינוי והפצה של המודל ונגזרותיו. התנאי היחיד הוא מתן קרדיט ברור ליוצרים, מוריס קראוס וכריסטוף שוהמן, מה שהופך את השילוב שלו בקוד שלכם לפשוט מבחינה משפטית.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗