GPT
הוספת כלי
G

gpt2-large

קוד פתוח

openai-communitymit2022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • rust

גרסה ותיקה של OpenAI באנגלית בלבד עם כ־812 מיליון פרמטרים. היא מתאימה בעיקר למחקר, ניסויי שפה בסיסיים ויצירת טקסט קל בלי לדרוש שרתים מנופחים.

  • 812Mפרמטרים
  • 1,024טוקנים בהקשר
  • 24.5 GBמשקל הקבצים
  • 1,067,889הורדות בחודש

מה זה

המודל אומן לחזות את המילה הבאה על גבי קורפוס שנקרא WebText, אוסף קישורים מרדיט שקיבלו לפחות שלושה קולות, בנפח של 40 גיגה בייט טקסט וללא ויקיפדיה בכלל. הוא מחזיר ייצוגים וקטוריים או מייצר טקסט באנגלית מתוך חלון של 1,024 טוקנים, תוך שימוש בטוקנייזר מסוג BPE בגודל אוצר מילים של 50,257.

במדדים היבשים הוא מציג דיוק אפס התאמות של 60.12% במבחן LAMBADA ופרפלקסיטי של 10.87. המשמעות בפועל היא שהוא מסוגל לנחש מילה סופית בהקשר נתון בצורה סבירה, אבל הוא לא מבין הוראות מורכבות ולא עבר כוונון לשיחה. הוא שייך למשפחת המודלים שפורסמו לצד גרסת הבסיס, מדיום ו־XL, כשהוא יושב מדרגה אחת מתחת לגרסה המלאה.

מתאים ל

  • עריכה והשלמת משפטים

    השלמת טקסט חופשי באנגלית והצעות תחביר קלות, משימות שמתאימות למבנה הבסיסי שלו.

  • מחקר על הטיות במודלים

    מדידה של סטריאוטיפים וייצוגים פנימיים בארכיטקטורת שנאי, בדיוק כפי שהוגדר בייעוד המקורי.

  • כתיבה יצירתית אוטומטית

    יצירת סיפורים בדיוניים או שירים באנגלית שבהם עובדות נכונות לא מהוות דרישת סף.

איפה זה נופל

היוצרים מדגישים שהמודל אינו מבדיל בין עובדות לבדיון, ולכן אסור להשתמש בו למשימות שדורשות עובדות נכונות. המידע עליו הוא אומן הגיע מתוכן לא מסונן ברשת, ומחקרים הראו שהוא מייצר הטיות וסטריאוטיפים פוגעניים על בסיס מגדר, גזע ודת. מבחני ההטיה הראו תוצאות דומות לגרסאות הגדולות יותר, מה שאומר שהוא דורש זהירות ובדיקה מעמיקה לפני שמציגים פלטים שלו למשתמשי קצה. בנוסף, חלון ההקשר קצר מאוד ומכיל 1,024 טוקנים בלבד, והוא אומן רק על אנגלית.

שאלות
נפוצות

האם המודל תומך בעברית?

הוא אומן אך ורק על קורפוס באנגלית. הוא לא מיועד לעברית ולא ייצר פלטים תקינים בשפה הזו.

האם אפשר לבנות איתו בוט שירות לקוחות עובדתי?

הכרטיס מבהיר במפורש שהוא לא יודע להפריד בין אמת לבדיון ונוטה להטיות. לא הייתי משלב אותו מול לקוחות אמיתיים בלי מערכת סינון קפדנית, ובטח שלא למסירת מידע אמין.

האם חובה להריץ אותו על GPU יקר?

ממש לא. כ־812 מיליון פרמטרים זה נפח צנוע יחסית, וכרטיס מסך ביתי סביר או שרת ענן פשוט יספיקו להרצה שלו.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון לפייפליין יצירת טקסט או לחילוץ מאפיינים באמצעות PyTorch או TensorFlow. משקל הקבצים במאגר עומד על 24.5 גיגה בייט ב־29 קבצים, כך שצריך מקום פנוי סביר על הדיסק.

הריצה דורשת כרטיס מסך מודרני פשוט עם זיכרון וידאו מספיק לגודל כזה, או שרת ענן צנוע, בלי צורך במערכי מרובי מעבדים גרפיים יקרים. אם המטרה שלכם היא לקבל תשובות חכמות או צ'אט עדכני למוצר, עדיף לפנות ישירות ל־API מודרני מאשר להחזיק תשתית פרטית עבור ביצועים מהדור הזה.

from transformers import pipeline

pipe = pipeline("text-generation", model="openai-community/gpt2-large")
print(pipe("שלום"))

הקבצים

29 קבצים במאגר, 24.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא גרסה מותאמת של MIT שיושבת במאגר הפרויקט. מדובר ברישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים וההתנערות מאחריות במוצר שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗