GPT
הוספת כלי
N

nllb-moe-54b

קוד פתוח

facebookcc-by-nc-4.02023-03-16

  • transformers
  • pytorch
  • nllb-moe
  • feature-extraction
  • translation

מודל תרגום ענק של פייסבוק שמבוסס על תערובת מומחים. הוא נבנה כדי להתמודד עם שפות נדירות במיוחד, אבל דורש משאבי עתק רק כדי לטעון אותו.

  • 1,024טוקנים בהקשר
  • 205 GBמשקל הקבצים
  • 9,619הורדות בחודש
  • 124לייקים

מה זה

מדובר בגרסת ה־MoE של פרויקט NLLB, שפותחה במיוחד עבור משימות תרגום מכונה בין מאות שפות, כולל שפות מקומיות וניבים עם מעט מאוד מידע ברשת. הארכיטקטורה מחלקת את 54 מיליארד הפרמטרים לרשת של מומחים, כך שבזמן עיבוד של כל טוקן רק חלק קטן מהרשת מופעל בפועל. האימון שילב שיטה בשם Expert Output Masking שמשמיטה חלק מהתרומה של מומחים מסוימים כדי לייצב את התוצאות.

היתרון הגדול שלו על פני מודלים רגילים באותו סדר גודל הוא היכולת לגעת בשפות שאף מודל אחר לא מכיר. במקום להשקיע את כל המשקל בשפות נפוצות כמו אנגלית או ספרדית, פייסבוק ניסתה לגשר על הפער בשפות דלות משאבים, וזה בא לידי ביטוי ישירות במבנה השכבות של המודל.

מתאים ל

  • מחקר בלשני ותרגום נדיר

    הוא אומן במיוחד על ניבים ושפות מקומיות שכמעט לא קיימות במודלים מסחריים אחרים.

  • בדיקת ארכיטקטורת MoE

    מתאים לצוותי תשתיות שרוצים לנתח ביצועים של תערובת מומחים על גבי transformers.

  • תרגום אופליין מאובטח

    מאפשר הרצה מקומית מלאה של תרגום רב לשוני בלי להוציא נתונים לרשת חיצונית.

איפה זה נופל

הבעיה המרכזית היא חלון ההקשר, שעומד על 1,024 טוקנים בלבד. אי אפשר לתרגם כאן מסמכים ארוכים ברצף, אלא רק מקטעי טקסט קצרים או משפטים בודדים בכל פעם. בנוסף, מודל כזה דורש תחזוקה כבדה של שרתים וצריכת זיכרון קיצונית. אם אתם צריכים רק תרגום בין שפות פופולריות, הסיבוך הטכני והמשקל העצום שלו פשוט לא מצדיקים את המאמץ.

שאלות
נפוצות

האם אפשר להריץ אותו על מחשב נייד חזק?

לא. המודל דורש כ־350 גיגה בייט רק בדיסק, וכמות זיכרון RAM ו־VRAM שקיימת רק בשרתי מחשוב כבדים עם מעבדים גרפיים ייעודיים.

איך מגדירים לאיזו שפה לתרגם?

בזמן הפעלת תהליך היצירה בקוד, מעבירים למשתנה forced_bos_token_id את הקוד המתאים לשפת היעד מתוך רשימת Flores 200 בתקן BCP-47.

איך מריצים

כדי להריץ אותו מקומית תצטרכו לפחות 350 גיגה בייט פנויים בדיסק רק כדי לפרוק את המשקלים, שמגיעים בקבצי float32 בנפח של מעל 200 גיגה בייט. בלי שרת ייעודי עם כמה כרטיסי מסך חזקים ושימוש בספריית accelerate לחלוקת זיכרון, אין סיכוי להרים אותו.

בזמן ההרצה צריך להגדיר ידנית את מזהה שפת היעד לפי תקן BCP-47 כדי לקבל פלט נכון. אם אתם לא מחזיקים אשכול שרתים פרטי, עדיף בהרבה לחפש שירות ענן שמציע גישה למודל דרך ממשק חיצוני.

from transformers import pipeline

pipe = pipeline("translation", model="facebook/nllb-moe-54b")
print(pipe("שלום"))

הקבצים

32 קבצים במאגר, 205 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל שוחרר תחת רישיון cc-by-nc-4.0. המשמעות פשוטה וחד משמעית: השימוש מותר למטרות מחקר, לימוד והתנסות בלבד. אסור לשלב אותו בשום מוצר מסחרי, שירות בתשלום או פעילות עסקית שמניבה הכנסה.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗