GPT
הוספת כלי
G

gpt2-xl

קוד פתוח

openai-communitymit2022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • rust

הגרסה הגדולה ביותר של הדור הקודם מבית OpenAI מיועדת לחקר התנהגות מודלים והשלמת טקסט באנגלית. היא מתאימה בעיקר למחקר ולניסויי יצירת מלל שלא דורשים דיוק עובדתי.

  • 1.6Bפרמטרים
  • 1,024טוקנים בהקשר
  • 29.9 GBמשקל הקבצים
  • 105,836הורדות בחודש

מה זה

הארכיטקטורה מבוססת על מודל שפה מסוג Causal LM שאומן לנחש את המילה הבאה ברצף על בסיס נתונים שנאספו מקישורים ברדיט עם לפחות שלושה מוניטין. המטרה המקורית שלו הייתה לבחון למידה ללא הנחיה על טקסט גולמי, ללא ויקיפדיה, כדי לחלץ ייצוגים פנימיים של השפה האנגלית.

במדדי Zero Shot הוא מציג דיוק של 63.24% ב־LAMBADA ופרפלקסיטי של 17.48 ב־WikiText103. בפועל, המשמעות של המספרים האלה היא יכולת חיזוי סבירה של מילים בהקשר מקומי, אבל המודל לא עבר כוונון ייעודי לשיחה או למענה על שאלות, ולכן הוא לא יודע לפעול כעוזר אישי מודרני אלא בעיקר ממשיך משפטים שהתחלתם.

מתאים ל

  • מחקר אקדמי על מודלי שפה

    הוא נבנה בעיקר עבור חוקרים שרוצים לבדוק הטיות והתנהגות של מודלים גנרטיביים מוקדמים.

  • עריכה וכתיבה יצירתית

    יכול לשמש מנוע להשלמת משפטים, רעיונות לכתיבה ספרותית ושירים באנגלית.

  • משחקים ובוטים פשוטים

    מתאים להפקת דיאלוגים בדיוניים במשחקים שלא דורשים אמינות עובדתית.

איפה זה נופל

המודל אומן על טקסט לא מסונן מהרשת, ולכן הוא מייצר הטיות חברתיות, מגדריות ודתיות, וסטריאוטיפים פוגעניים. בנוסף, הוא אינו מבדיל בין עובדות לבדיון, והיוצרים מציינים במפורש שאינו מתאים למשימות שדורשות דיוק עובדתי. גורמי מחקר חיצוניים הראו שניתן לכוונן אותו בקלות להפצת תעמולה קיצונית. חלון ההקשר מוגבל ל־1,024 טוקנים, והוא אינו תומך בעברית אלא באנגלית בלבד.

שאלות
נפוצות

האם המודל תומך ביצירת טקסט בעברית?

לא. המודל אומן על קורפוס באנגלית בלבד ומשתמש בטוקנייזר BPE עם אוצר מילים של 50,257 מונחים באנגלית. הוא לא יפיק עברית תקינה.

האם אפשר להשתמש בו בתור צ'אטבוט לשירות לקוחות?

היוצרים ממליצים שלא להשתמש בו במערכות שבאות במגע ישיר עם בני אדם ללא בדיקת הטיות מעמיקה. הוא נוטה להמציא עובדות ועלול לייצר תוכן פוגעני.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־29.9 גיגה-בייט שמחולקים ל־14 קבצים, כך שצריך שטח אחסון משמעותי וכרטיס מסך עם מספיק זיכרון כדי לטעון אותו בפורמט מלא. אפשר להריץ אותו בפייתון באמצעות ספריית transformers דרך pipeline פשוט או בטעינה ישירה ל־PyTorch ו־TensorFlow.

ביחס לגרסאות הקטנות יותר בסדרה כמו Base, Medium ו־Large, הגרסה הזו כבדה משמעותית ומציגה תוצאות שפה עקביות יותר. אם אתם צריכים רק שירות יצירת טקסט למוצר סופי בלי לנהל תשתית מקומית של חומרה כבדה, שליחת קריאות ל־API מרוחק תהיה פשוטה וזולה יותר מתחזוקת שרת ייעודי.

from transformers import pipeline

pipe = pipeline("text-generation", model="openai-community/gpt2-xl")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 29.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח במאגר הוא MIT, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי הקוד והפצה של המודל. עם זאת, כרטיס המודל מפנה לקובץ רישיון מותאם של OpenAI, ולכן אם אתם מתכננים לשלב אותו במוצר מסחרי כדאי לבדוק את תנאי הקובץ המקורי במאגר הגיטהאב כדי לוודא שאין הגבלות שימוש ספציפיות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗