GPT
הוספת כלי
G

gpt-neo-2.7B

קוד פתוח

EleutherAImit2022-03-02

  • transformers
  • pytorch
  • jax
  • rust
  • safetensors

שחזור פתוח של ארכיטקטורת GPT-3 שנועד לייצור טקסט באנגלית. הוא מעניין בעיקר למי שמחפש מודל קל יחסית שרץ מקומית בלי תלות בשירותים חיצוניים.

  • 2.7Bפרמטרים
  • 2,048טוקנים בהקשר
  • 39.7 GBמשקל הקבצים
  • 25,089הורדות בחודש

מה זה

מדובר במודל שמייצר טקסט על ידי חיזוי הטוקן הבא, שאומן על מאגר הנתונים The Pile לאורך 420 מיליארד טוקנים. הוא נבנה כגרסה פתוחה לארכיטקטורה של GPT-3 ומיועד להבנה ולייצור של השפה האנגלית בלבד, עם חלון הקשר של 2,048 טוקנים.

במבחני ביצועים הוא מציג יתרון עקבי מול גרסאות קטנות יותר כמו GPT-Neo 1.3B וגם מול GPT-3 Ada. בדיוק במבחן Lambada הוא הגיע ל־62.22%, שזה שיפור מורגש בהשלמת מילים בהקשר רחב לעומת כ־51% של Ada, אך במבחנים כמו MathQA הוא נעצר ב־24.72%, שזה בקושי מעל ניחוש אקראי.

מתאים ל

  • השלמת טקסטים באנגלית

    הוא אומן על 420 מיליארד טוקנים ומציג תוצאות טובות בהמשך ישיר של משפטים ורעיונות.

  • חילוץ מאפיינים לשוניים

    המבנה שלו מאפשר להשתמש בייצוג הפנימי של השפה האנגלית למשימות עיבוד מותאמות.

  • בדיקות מקומיות ללא רשת

    מתאים לסביבות שדורשות קוד פתוח מלא בלי להסתמך על שירותי צד שלישי.

איפה זה נופל

הוא לא יודע עברית ומיועד לאנגלית בלבד. מעבר לזה, המאגר שעליו הוא אומן כולל טקסטים בוטים ושפה פוגענית, והיוצרים עצמם מציינים שהוא עלול לפלוט תכנים לא הולמים בלי אזהרה מוקדמת. יכולות החישוב וההסקה המדעית שלו חלשות מאוד, כפי שרואים בתוצאה של 24.72% בלבד במבחן MathQA, ולכן לא מתאים להסתמך עליו לפתרון בעיות מדויקות בלי בדיקה אנושית צמודה.

אותה משפחה

gpt-neo יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

gpt-neo-125m522,717 gpt-neo-1.3B43,877

שאלות
נפוצות

האם אפשר לעבוד איתו בעברית?

לא. המודל הוגדר ואומן על טקסטים באנגלית בלבד. הזנת קלט בעברית לא תניב תוצאות שימושיות.

כמה מקום בדיסק צריך כדי להוריד אותו?

המשקל של כלל הקבצים מגיע ל־39.7 ג'יגה־בייט. כדאי לפנות לפחות 45 ג'יגה־בייט פנויים לפני ההורדה.

האם הוא מסוגל לפתור שאלות במתמטיקה?

הביצועים שלו בתחום הזה נמוכים מאוד. במבחן MathQA הוא השיג 24.72% הצלחה בלבד, ולכן לא מומלץ להסתמך עליו לחישובים.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון באמצעות פונקציית pipeline רגילה ל־text-generation. למרות שיש לו 2.7 מיליארד פרמטרים, קבצי המאגר שוקלים 39.7 ג'יגה־בייט ומחולקים ל־11 קבצים, כך שצריך שטח אחסון פנוי וכרטיס מסך עם זיכרון מכובד כדי להחזיק אותו.

אם אתם צריכים רק תשובות פשוטות מדי פעם או שאין לכם חומרה ייעודית, עדיף להשתמש ב־API חיצוני של מודל מודרני במקום להתמודד עם המשקל וההורדה.

from transformers import pipeline

pipe = pipeline("text-generation", model="EleutherAI/gpt-neo-2.7B")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 39.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון MIT פשוט ומתירני. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗