GPT
הוספת כלי
G

gpt-neo-1.3B

קוד פתוח

EleutherAImit2022-03-02

  • transformers
  • pytorch
  • jax
  • rust
  • safetensors

שחזור פתוח של ארכיטקטורת GPT-3 בקנה מידה קטן, שמתאים למי שחייב מודל קל משקל באנגלית תחת רישיון חופשי לחלוטין וללא תלות בספקים חיצוניים.

  • 1.4Bפרמטרים
  • 2,048טוקנים בהקשר
  • 19.7 GBמשקל הקבצים
  • 43,877הורדות בחודש

מה זה

המודל הזה מבוסס על שחזור הארכיטקטורה של GPT-3 בידי EleutherAI, ומכיל כ־1.4 מיליארד פרמטרים שאומנו על מאגר The Pile לאורך 380 מיליארד טוקנים. הוא מיועד ליצירת טקסט על בסיס השלמת הטוקן הבא באנגלית, וחלון ההקשר שלו מוגבל ל־2,048 טוקנים בלבד.

במבחני ביצועים מול חלופות ותיקות כמו GPT-2 1.5B או GPT-3 Ada, הוא מציג שיפור מסוים בהבנת טקסט עם פרפלקסיטי של 13.10 ב־Wikitext ודיוק של 57.23% ב־Lambada. עם זאת, במבחני הגיון מתמטי ומדעי כמו MathQA עם 24.05% או GSM8K שבו קיבל 0.45 בלבד, ברור שהוא אינו מסוגל לבצע חישובים או להבין לוגיקה מורכבת.

מתאים ל

  • השלמת טקסט כללי באנגלית

    הוא אומן על 380 מיליארד טוקנים ומפיק המשכים סבירים לפסקאות קצרות.

  • חילוץ מאפיינים לאימון המשך

    הייצוג הפנימי של השפה מאפשר להשתמש בו כבסיס למודל סיווג ייעודי.

  • מחקר על הטיות במודלי שפה

    הארכיטקטורה והנתונים מתועדים וחשופים, מה שמקל על בדיקת פלטים שנויים במחלוקת.

איפה זה נופל

המודל אומן על The Pile, מאגר שמכיל שפה גסה, תכנים בוטים והטיות חברתיות קשות. היוצרים עצמם מזהירים שהוא עלול לפלוט תוכן פוגעני ללא התראה, וממליצים להפעיל סינון ידני או אוטומטי על הפלטים לפני חשיפה למשתמשים. מעבר לזה, במבחני שאלות ותשובות ופתרון בעיות הוא משיג ציונים נמוכים מאוד, כך שהוא לא יתאים למשימות שדורשות עובדות מדויקות או חשיבה לוגית.

אותה משפחה

gpt-neo יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

gpt-neo-125m522,717 gpt-neo-2.7B25,089

שאלות
נפוצות

האם המודל תומך בעברית?

לא, המודל אומן על נתונים באנגלית בלבד. פנייה בעברית תניב פלטים משובשים או חסרי משמעות, ולא כדאי לבנות עליו לשום שימוש בשפה הזו.

האם הוא מתאים לצ'אטבוט או לשיחה עם לקוחות?

הוא אינו מודל שעבר כוונון לשיחה אלא מנחש את המילה הבאה בלבד. בנוסף, נתוני האימון שלו כוללים קללות וביטויים בוטים שעלולים לצוץ בתשובות.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־19.7 גיגה-בייט, כך שתצטרכו מספיק זיכרון אחסון וכרטיס מסך בעל זיכרון מתאים כדי לטעון אותו, או להסתפק בהרצה על מעבד שתיקח זמן. הטעינה נעשית ישירות דרך ספריית transformers בפייתון באמצעות צינור יצירת הטקסט הרגיל.

אם אתם צריכים רק מענה מהיר לבדיקות קטנות או שאין לכם כרטיס מסך פנוי, פנייה לשירותי ענן מוכנים תחסוך את הורדת הקבצים הכבדים וההתעסקות עם החומרה המקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="EleutherAI/gpt-neo-1.3B")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 19.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא MIT, מה שאומר שמותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות את הקוד והמשקלים ולשלב אותו במוצרים סגורים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית והפטור מאחריות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗