GPT
הוספת כלי
A

anime-whisper

קוד פתוח

litaginmit2024-11-10

  • transformers
  • safetensors
  • whisper
  • automatic-speech-recognition
  • anime

זהו מודל תמלול ייעודי ליפנית בסגנון משחק של אנימה ומשחקי מחשב. הוא מיועד למי שצריך לתפוס גמגומים, אנחות וקריאות רגשיות שכל מודל רגיל מוחק מהטקסט.

  • 756Mפרמטרים
  • 2.8 GBמשקל הקבצים
  • 69,568הורדות בחודש
  • 160לייקים

מה זה

הבסיס כאן הוא kotoba-whisper-v2.0 שעבר כוונון עדין על כחמשת אלפים ושלוש מאות שעות של אודיו מרומנים חזותיים. בניגוד למודלי דיבור סטנדרטיים שמנסים להוציא משפטים נקיים ומסודרים, הוא אומן במפורש לא לפספס צלילים לא מילוליים כמו צעקות, נשימות וצחוק, ולהוסיף סימני פיסוק שמתאימים לקצב הדיבור.

במבחני דיוק על חמישה משחקים שלא נכללו באימון, הוא הציג שיעור שגיאות תווים ממוצע של 13.0, לעומת 16.5 של וויספר לארג' 3 ו־18.8 של מודל הבסיס. זה אומר שהוא מזהה טוב בהרבה מילים מקוטעות או משחק מוגזם, במקום לדלג עליהן או להמציא טקסט גנרי.

מתאים ל

  • כתוביות למשחקים ביפנית

    הוא מזהה צעקות, גמגומים וקטיעות דיבור של שחקנים, שמתמללים רגילים מסננים החוצה.

  • תמלול אודיו של אנימה

    הוא מוסיף סימני שאלה, קריאה ומקפים בהתאם לקצב ולדרמה של הדיבוב.

  • טקסט מתוכן למבוגרים

    הוא מסוגל לתמלל אנחות וקולות רקע שגורמים למודלים אחרים להיכשל לחלוטין.

איפה זה נופל

יש לו רגישות חריגה להנחיות ראשוניות. מתן פרומפט התחלתי גורם לו להזיות קשות ופוגע בדיוק בצורה קיצונית, אז חובה להריץ אותו בלעדיו. בנוסף, הוא נוטה לאיית שמות ומושגים בקאנג'י ספציפי שלמד ממשחקים, מחליף מילים מסוימות לצורות כתיב חריגות, ומשמיט כמעט תמיד את הנקודה בסוף המשפט. ביטויי גנאי מסוימים עלולים לצאת מצונזרים עם עיגול בטקסט.

שאלות
נפוצות

האם אפשר להשתמש בו לתמלול יפנית בשיחות יומיום או פודקאסטים?

אפשר, אבל לא כדאי לבנות עליו לזה. הוא אומן על משחק תיאטרלי ויכניס פיסוק דרמטי או כתיב מוזר של מילים שלא מתאים לשיחה עסקית או חדשות.

איך מונעים ממנו לחזור על אותם משפטים שוב ושוב?

בזמן הקריאה לפונקציית התמלול, מגדירים את הפרמטר no_repeat_ngram_size לערך של חמש עד עשר, ומעלים מעט את קנס החזרתיות.

איך מריצים

קובצי המודל שוקלים 2.8 ג'יגה בייט ורצים דרך ספריית transformers בפייתון. בדיוק של float16 אפשר להריץ אותו בלי בעיה על כרטיס מסך ביתי מודרני עם שמונה ג'יגה זיכרון, והגודל הזה מאפשר עיבוד בקבוצות גדולות יחסית.

אין כאן כמה גרסאות להורדה, יש משקל אחד שנוצר ממיזוג צ'קפוינטים. אם אתם צריכים רק תמלול נקודתי של כמה קבצים, יש הדגמת רשת בחינם בהאגינג פייס, אבל לעבודה שוטפת כדאי להריץ אותו מקומית כי אין שירות ענן שמציע אותו כרגע מאחורי ממשק תכנות מוכן.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="litagin/anime-whisper")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 2.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון MIT. מותר לעשות עם הקוד והמשקלים הכל, כולל שימוש מסחרי, שינוי והפצה בתוך מוצר סגור, בלי לשלם תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗