GPT
הוספת כלי
X

xglm-564M

קוד פתוח

facebookmit2022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • xglm

מודל שפתי קטן מבית פייסבוק שאומן על שלושים שפות במקביל. הוא מתאים למי שמחפש מודל קל משקל למשימות טקסט בסיסיות בריבוי שפות בלי להחזיק שרת כבד.

  • 2,048טוקנים בהקשר
  • 5.2 GBמשקל הקבצים
  • 100,252הורדות בחודש
  • 54לייקים

מה זה

מדובר במודל יצירת טקסט עם 564 מיליון פרמטרים, גודל שנחשב היום קטן וקומפקטי במיוחד. הייחוד שלו לעומת מודלים ישנים באותו סדר גודל הוא הדגש הרב לשוני. פייסבוק אימנו אותו על קורפוס של חמש מאות מיליארד תת טוקנים שמתחלקים בין שלושים שפות שונות, תוך דגימת יתר של שפות עם מעט מקורות כדי שלא ייעלמו מול האנגלית.

למרות הניסיון לאזן, האנגלית עדיין תופסת כמעט מחצית מנתוני האימון המקוריים, ואחריה רוסית, סינית, גרמנית וספרדית. המודל תוכנן במקור לבחינת יכולות למידה עם מעט דוגמאות כמו במשימות ברירה בין חלופות, והוא נותן נקודת מוצא למחקר או לעיבוד שפות שאינן אנגלית במשאבים מוגבלים.

מתאים ל

  • סיווג טקסט רב לשוני

    מתאים למיון טקסטים בשפות אירופיות ואסיאתיות נפוצות על גבי שרת מקומי זול וללא תלות ברשת.

  • מחקר על שפות מעוטות משאבים

    משמש כבסיס קל לבדיקת התנהגות מודלים שאומנו בשיטות דגימה ייחודיות לשפות שאינן אנגלית.

  • השלמת משפטים בסיסית

    טוב למשימות השלמה קצרות בשפות כמו רוסית או גרמנית כשהמשאבים מוגבלים לחומרה מינימלית.

איפה זה נופל

גודל של 564 מיליון פרמטרים משנת 2022 אומר שאי אפשר לצפות ממנו להבנה עמוקה או לטקסט מורכב. הוא נוטה לחזרות, מוגבל לחלון הקשר של 2,048 טוקנים בלבד, ולא עבר שום התאמה לשיחה מודרנית. עברית בכלל לא נכללת ברשימת שלושים השפות שבהן הוא אומן, כך שלפרויקטים בעברית הוא פשוט לא רלוונטי. שפות עם ייצוג מזערי בדאטה, כמו קצ'ואה או קריאולית, קיבלו שברירי אחוזים ויסבלו מביצועים חלשים עוד יותר.

אותה משפחה

xglm יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

xglm-7.5B611

שאלות
נפוצות

האם המודל תומך בעברית?

לא. עברית אינה מופיעה ברשימת שלושים השפות של המודל, ואין לו נתוני אימון בשפה זו. אם תנסו להזין לו עברית תקבלו פלט שבור או חסר משמעות.

האם הוא מתאים לצ'אטבוט שירות לקוחות?

לא הייתי משתמש בו לזה. מדובר במודל השלמת טקסט בסיסי מלפני עידן כוונון ההוראות, והוא אינו מיועד לנהל שיחה קוהרנטית עם בני אדם.

איך מריצים

חבילת המשקלים שוקלת 5.2 גיגה בייט ומחולקת לאחד עשר קבצים, כך שאין שום צורך בכרטיס מסך מפלצתי. אתם יכולים לטעון אותו ישירות דרך ספריית transformers בסביבת פייתון סטנדרטית, והוא ירוץ בלי בעיה גם על כרטיס מסך פשוט או על מעבד רגיל של שרת בסיסי.

אם כל מה שאתם צריכים זה שירות ענן שמחזיר תשובות מורכבות ומנוסחות היטב, עדיף לפנות ל־API מסחרי עדכני. המודל הזה שווה את הטרחה רק אם אתם חייבים הרצה מקומית מלאה, שליטה מלאה בנתונים בלי להוציא מידע החוצה, או בסיס קל לאימון המשך משלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="facebook/xglm-564M")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 5.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון MIT. זהו רישיון פתוח ומתירני מאוד שמאפשר שימוש מסחרי, שינוי של הקוד והמשקלים והפצה מחדש בתוך מוצר, בלי דרישה לפתוח את הקוד שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗