GPT
הוספת כלי
D

distilgpt2

קוד פתוח

distilbertapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • tflite

גרסה מכווצת ומהירה של מודל השפה המוכר, שנועדה לייצור טקסט באנגלית במשאבים מינימליים. בוחרים בה כשצריכים תוצאות מיידיות על חומרה חלשה בלי לשלם על שרתים יקרים.

  • 88Mפרמטרים
  • 1,024טוקנים בהקשר
  • 2.9 GBמשקל הקבצים
  • 1,913,465הורדות בחודש

מה זה

מדובר במודל שנוצר בשיטת זיכוך ידע מתוך הגרסה הקטנה של GPT-2 עם 124 מיליון פרמטרים, כשהמטרה הייתה לחתוך את המשקל וההשהיה בלי לאבד את כל היכולת. הוא אומן על OpenWebTextCorpus, שהוא שחזור פתוח של סט הנתונים המקורי של OpenAI, ומשתמש באותו טוקנייזר מבוסס BPE.

במבחן WikiText-103 הוא מגיע לערך פרפלקסיטי של 21.1 לעומת 16.3 של מודל המקור. המספר הגבוה יותר אומר בפועל שהוא פחות מדויק בניבוי המילה הבאה ומייצר טקסט מעט פחות קוהרנטי, אבל בתמורה מקבלים מודל של 88 מיליון פרמטרים שרץ מהר יותר משמעותית.

מתאים ל

  • השלמת טקסט מהירה

    משתלב בעורכי טקסט וממשקי כתיבה קלים בזכות זמני תגובה קצרים על מעבד מקומי.

  • מחקר וניסויי זיכוך

    משמש לבדיקת ארכיטקטורות דחוסות והשוואת מדדי הטיה מול מודלים רחבים.

  • יצירת תוכן למשחקים

    מתאים לטקסטים בדיוניים ודיאלוגים קצרים שבהם אין חשיבות לדיוק בעובדות.

איפה זה נופל

הוא לא מבדיל בין עובדות לבדיון, ולכן אסור להשתמש בו למשימות שדורשות דיוק עובדתי או אמינות בתוכן. הוא אומן באנגלית בלבד ואינו מיועד לעברית.

מחקרים שמצוטטים בתיעוד מצביעים על כך שהוא נושא הטיות מובנות, ובחלק מהמקרים הזיכוך אף הגביר פערי מגדר ביחס למודל המקורי. לא הייתי מחבר אותו למערכת שמדברת ישירות עם לקוחות בלי בדיקת הטיות וסינון קפדני של הפלט.

שאלות
נפוצות

האם הוא מתאים לעבודה בעברית?

לא. המודל אומן על קורפוס באנגלית בלבד. אם תזינו לו עברית תקבלו פלט משובש, טעויות בטוקניזציה או חוסר תגובה הגיוני.

האם חייבים GPU בשביל להריץ אותו במוצר?

ממש לא. בגלל גודלו הזעיר, 88 מיליון פרמטרים, מעבד שרת רגיל ואפילו מחשב נייד פשוט מריצים אותו בזמן סביר מאוד להסקה.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון עם PyTorch או TensorFlow, באמצעות pipeline פשוט ליצירת טקסט או כמודל לחילוץ ייצוגים. הורדת המשקלים דורשת נפח של 2.9 ג'יגה בייט על הדיסק.

עם 88 מיליון פרמטרים וחלון הקשר של 1,024 טוקנים, אפשר להריץ אותו בקלות על כל מעבד מודרני בלי להחזיק כרטיס מסך ייעודי בכלל. אין שום סיבה לשלם ל־API חיצוני על מודל בגודל כזה, אלא אם אתם מריצים מיליוני בקשות במקביל ורוצים לחסוך תחזוקת שרתים לגמרי.

from transformers import pipeline

pipe = pipeline("text-generation", model="distilbert/distilgpt2")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0, שמאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה חופשית בתוך מוצרים סגורים. התנאי העיקרי הוא שמירת הודעות זכויות היוצרים והרישיון המקורי, בלי חובה לחשוף את הקוד שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗