GPT
הוספת כלי
O

opt-350m

קוד פתוח

facebookother2022-05-11

  • transformers
  • pytorch
  • tf
  • jax
  • opt

מודל שפה קומפקטי שמיועד למחקר ולניסויי יצירת טקסט קלים. הוא שוקל פחות משני ג'יגהבייט וירוץ חלק כמעט על כל מחשב פיתוח בסיסי.

  • 2,048טוקנים בהקשר
  • 1.9 GBמשקל הקבצים
  • 316,037הורדות בחודש
  • 150לייקים

מה זה

המודל הזה שייך למשפחת מודלים של מטא שמבוססת על ארכיטקטורת מפענח בלבד, בדומה לסדרת GPT. האימון שלו נעשה על כ־180 מיליארד טוקנים מחמישה מאגרי מידע שונים, שכוללים ספרים, חדשות, ויקיפדיה ודיונים מרדיט. המטרה של המפרסמים היתה לשחזר את היכולות של מודלים סגורים ולאפשר לחוקרים גישה ישירה למשקולות.

בגודל הזה אין מה לצפות לתשובות מורכבות או להיגיון עמוק. הוא יודע להשלים טקסט באנגלית לפי הנחיה, לקבל פרומפטים בסיסיים, או לשמש כבסיס קל לאימון נוסף על משימה מוגדרת היטב. חלון ההקשר עומד על 2,048 טוקנים, שזה טווח קצר שמתאים למשפטים בודדים או לפסקאות קצרות ולא למסמכים ארוכים.

מתאים ל

  • מחקר על הטיות במודלים

    המשקולות חשופות לחלוטין ומתאימות לבדיקת כשלים והטיות באימון שפה.

  • בסיס לכוונון משימה פשוטה

    הגודל הקטן מאפשר לאמן אותו מחדש על מעבד גרפי יחיד ובזול.

  • בדיקת תהליכי פיתוח

    מעולה כמודל דמה קל לבדיקת קוד שמצפה לתשובת טקסט מהירה.

איפה זה נופל

הנתונים שהמודל ראה הגיעו מרחבי הרשת בלי סינון אגרסיבי, והכרטיס מצהיר מפורשות על הטיות חברתיות קשות, שפה פוגענית והזיות. בדוגמאות של היצרן רואים בבירור סטריאוטיפים מגדריים חדים בהשלמת תיאורי משרות. מעבר לזה, המודל אומן בעיקר על אנגלית. יש בו שרידים זניחים של שפות אחרות ממאגר CommonCrawl, כך שלעברית הוא פשוט לא שמיש בלי אימון ייעודי מראש.

אותה משפחה

opt יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

opt-125m8,820,283 opt-1.3b105,558 opt-6.7b61,664 opt-2.7b32,681 opt-13b11,108 opt-66b6,164 opt-30b2,910

שאלות
נפוצות

האם אפשר להשתמש במודל הזה לעיבוד טקסט בעברית?

לא. המודל אומן באופן כמעט בלעדי על אנגלית, והכרטיס מציין רק כמות מזערית של שפות אחרות שנכנסה במקרה. הוא לא יבין עברית ולא ייצר פלט הגיוני בשפה.

האם הוא מתאים לשימוש כצ'אטבוט?

ממש לא. מדובר במודל השלמת טקסט בסיסי מ־2022 שלא עבר התאמה לשיחה, והוא נוטה להמציא דברים ולחזור על טקסטים מהרשת בלי סינון.

איך מריצים

טעינה והרצה נעשות ישירות דרך ספריית transformers בפייתון עם צינור ייצור טקסט רגיל. קבצי המשקל תופסים 1.9 גיגהבייט בדיוק של float16, כך שלא צריך כרטיס גרפי כבד ואפשר להריץ אותו מקומית גם על מעבד רגיל או על כרטיס מסך ביתי ישן.

אם אתם צריכים רק לבדוק תהליך עבודה, אימון פנימי, או להבין איך המודל מתנהג, הרצה מקומית היא פתרון פשוט וחינמי. ברגע שהדרישה שלכם עוברת לשיחה אינטליגנטית או לעיבוד שפה איכותי ומדויק, שום אופטימיזציה מקומית לא תעזור פה ועדיף לשלם לפי שימוש למודל מודרני מרוחק דרך API.

from transformers import pipeline

pipe = pipeline("text-generation", model="facebook/opt-350m")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 1.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הרשום בכרטיס מסומן כ־other ולא כרישיון קוד פתוח סטנדרטי דוגמת MIT או אפאצ'י. מטא שחררה במקור את סדרת המודלים הזו למטרות מחקר בלבד, מה שאומר שאסור להטמיע אותו במוצר מסחרי בלי לבדוק לעומק את תנאי השימוש המקוריים של החברה.

הרישיון המלא בעמוד המודל ↗