mms-1b-all

מה זה

בסיס התשתית בנוי על Wav2Vec2 בגודל של 964,845,850 פרמטרים, אשר עבר אימון נוסף כדי לתמלל קול ישירות לטקסט. במקום להחזיק מודל נפרד לכל שפה או מודל ענק שלא נכנס לשום זיכרון, הוא משתמש במתאמים. הבסיס נשאר קבוע בזיכרון, ואתם טוענים מתאם קטן לפי קוד השפה המבוקשת, מתוך 1162 שפות נתמכות. הרשימה כוללת שפות נפוצות וגם עברית תחת הקוד heb.

ההבדל המשמעותי לעומת מודלים אחרים בקטגוריית המיליארד פרמטרים הוא רוחב היריעה. אין כאן מודל שמנסה לנחש הכל בבת אחת ופולט טעויות בין שפות דומות, אלא מנגנון שבו בוחרים במפורש את שפת היעד. הטוקנייזר והמתאם מתחלפים בהוראה אחת בקוד, מה שמאפשר לעבד קובצי אודיו משפות שונות באותו תהליך עבודה.

מתאים ל

• תמלול ארכיונים רב לשוניים

  כיסוי של 1162 שפות מאפשר תמלול מסמכי שמע באותו כלי עבודה.

• מחקר אקדמי של שפות נדירות

  גישה פתוחה למתאמי שמע עבור דיאלקטים שאין להם כלי מדף אחרים.

• פרויקטי קוד פתוח ללא מטרות רווח

  שימוש בתשתית תמלול רחבה ללא עלויות רישוי תחת מגבלות השימוש הלא מסחרי.

איפה זה נופל

הכרטיס לא מציג תוצאות מדידה או אחוזי שגיאות מילים, כך שאי אפשר לדעת מראש מה רמת הדיוק בכל שפה בלי לבדוק בפועל על הנתונים שלכם. החלפת שפה דורשת טעינה מפורשת של מתאם והגדרת שפת היעד בטוקנייזר, כך שהוא לא מזהה שפות באופן אוטומטי מתוך האודיו. אם אתם מקבלים הקלטה ולא יודעים מה השפה שמדוברת בה, תצטרכו מנגנון זיהוי נפרד לחלוטין לפני שליחת הקובץ לתמלול.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־8.3 GB והם מפוזרים בין 999 קבצים נפרדים בגלל ריבוי המתאמים. כדי להריץ אותו דרך ספריית transformers תצטרכו גרסה 4.30 לפחות, יחד עם חבילות כמו torch, datasets ו־accelerate. האודיו הנכנס חייב להיות בדיגום של 16000 הרץ, אחרת התוצאות פשוט לא יהיו נכונות.

מבחינת חומרה, קריטי לקחת בחשבון את נפח המודל וסביבת העבודה בזמן עיבוד האודיו. לא הייתי מנסה לתמלל איתו כמויות אודיו בזמן אמת בלי מעבד גרפי ייעודי עם מספיק זיכרון להחזקת משקלי הבסיס והחישובים.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="facebook/mms-1b-all")
print(pipe("שלום"))

הקבצים

999 קבצים במאגר, 8.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• adapter.cmn-script_simplified.bin31.7 MB
• adapter.cmn-script_simplified.safetensors31.7 MB
• adapter.jpn.bin20.3 MB
• adapter.jpn.safetensors20.3 MB
• adapter.amh.bin10.4 MB
• adapter.amh.safetensors10.4 MB
• adapter.fra.bin10.3 MB
• adapter.fra.safetensors10.2 MB
• adapter.guk.bin9.8 MB
• adapter.guk.safetensors9.8 MB
• adapter.deu.bin9.7 MB
• adapter.ita.bin9.6 MB
• adapter.deu.safetensors9.6 MB
• adapter.ita.safetensors9.6 MB
• adapter.eng.bin9.5 MB
• adapter.khm.bin9.5 MB
• adapter.eng.safetensors9.4 MB
• adapter.kin.bin9.4 MB
• adapter.khm.safetensors9.4 MB
• adapter.asm.bin9.4 MB
• adapter.ben.bin9.4 MB
• adapter.kin.safetensors9.4 MB
• adapter.hin.bin9.4 MB
• adapter.asm.safetensors9.3 MB
• adapter.kan.bin9.3 MB
• adapter.ben.safetensors9.3 MB
• adapter.guj.bin9.3 MB
• adapter.grc.bin9.3 MB
• adapter.ara.bin9.3 MB
• adapter.fas.bin9.3 MB
• adapter.hin.safetensors9.3 MB
• adapter.kan.safetensors9.3 MB
• adapter.guj.safetensors9.3 MB
• adapter.ckb.bin9.3 MB
• adapter.grc.safetensors9.3 MB
• adapter.ara.safetensors9.3 MB
• adapter.kaz.bin9.3 MB
• adapter.fas.safetensors9.2 MB
• adapter.cat.bin9.2 MB
• adapter.hye.bin9.2 MB

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות פשוטה וישירה: אסור להשתמש במודל הזה בשום צורה מסחרית. הוא מיועד למחקר, בדיקות או פרויקטים פנימיים לא מסחריים בלבד, וכל ניסיון לשלב אותו במוצר שמייצר הכנסה מפר את תנאי הרישיון.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗