gpt-neox-20b

מה זה

מדובר במודל שפה גולמי של 20 מיליארד פרמטרים שאומן על מאגר The Pile, הכולל טקסטים מגוונים באנגלית כמו מאמרים אקדמיים, קוד גיטהאב וכתוביות וידאו. המבנה שלו דומה למשפחת ה־GPT המקורית ומשתמש בקידוד מיקום יחסי מסוג RoPE. הוא אינו מיושר למשתמש, כך שהוא פשוט חוזה את הרצף הסטטיסטי הבא של הטקסט ולא מנהל שיחה.

במבחני zero shot מול מודלים אחרים מתקופתו, הוא עוקף מודלים קטנים יותר כמו GPT-J ו־FairSeq 13B במשימות כמו ARC Challenge עם ציון 0.380, ומגיע ל־0.928 ב־SciQ. מצד שני, במבחני ידע כללי ושאלות טריוויה הוא השיג 0.259 בלבד, רחוק מ־GPT-3 DaVinci, ובמדדי פתרון בעיות מתמטיות בסיסיות הוא מציג יכולת אפסית כמעט.

מתאים ל

• אימון ייעודי למשימות ספציפיות

  הוא משמש בסיס טוב להתאמה אישית של מודל פנימי באנגלית כשיש דאטהסט ייעודי.

• מחקר אקדמי על שפה

  הוא מאפשר חילוץ ייצוגי שפה וניתוח של מודלי ענק עם ארכיטקטורה ודאטה גלויים לגמרי.

• השלמת טקסטים אוטומטית

  הוא מבצע חיזוי רצף סטטיסטי להמשך כתיבה באנגלית ללא צורך במבנה שיחה.

איפה זה נופל

המודל פועל באנגלית בלבד ואינו מתאים לעברית. הוא לא עבר שום אימון להוראות או משוב אנושי, כך שהוא לא יודע להתנהג כמו צ'אטבוט ויפלוט טקסטים מוזרים או לא קשורים בתגובה לבקשות ישירות.

מאגר האימון שלו לא עבר סינון כפילויות ומכיל שפה פוגענית והטיות חברתיות מתועדות. הוא נוטה להמציא עובדות בביטחון, והתוצאות בלוח המבחנים הפתוח מעידות על קריסה מוחלטת במשימות חישוב עם ציון 2.43 בלבד ב־GSM8K. אסור לחבר אותו למשתמשי קצה ללא פיקוח הדוק.

איך מריצים

כדי להריץ אותו מקומית צריך להתמודד עם משקל קבצים של 76.9 גיגה בייט ב־102 חלקים שונים, בדיוק float16. המודל דורש זיכרון וידאו עצום של מעל 40 גיגה בייט רק כדי להיטען, מה שמחייב שימוש בכמה כרטיסי מסך חזקים במקביל עם חלוקת שכבות או מודל מקבילי.

אפשר לטעון אותו ישירות דרך ספריית transformers בקוד פייתון קצר. למי שאין שרת ייעודי עם חומרה מתאימה, החזקה של שרת כזה תעלה הרבה מאוד כסף, וברוב המקרים עדיף לבדוק חלופות מנוהלות אלא אם המטרה היא התאמה ואימון עצמאי.

from transformers import pipeline

pipe = pipeline("text-generation", model="EleutherAI/gpt-neox-20b")
print(pipe("שלום"))

הקבצים

102 קבצים במאגר, 76.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00046.bin926.0 MB
• model-00001-of-00046.safetensors926.0 MB
• pytorch_model-00002-of-00046.bin910.3 MB
• pytorch_model-00003-of-00046.bin910.3 MB
• pytorch_model-00004-of-00046.bin910.3 MB
• pytorch_model-00005-of-00046.bin910.3 MB
• pytorch_model-00006-of-00046.bin910.3 MB
• pytorch_model-00007-of-00046.bin910.3 MB
• pytorch_model-00008-of-00046.bin910.3 MB
• pytorch_model-00009-of-00046.bin910.3 MB
• pytorch_model-00010-of-00046.bin910.3 MB
• pytorch_model-00011-of-00046.bin910.3 MB
• pytorch_model-00012-of-00046.bin910.3 MB
• pytorch_model-00013-of-00046.bin910.3 MB
• pytorch_model-00014-of-00046.bin910.3 MB
• pytorch_model-00015-of-00046.bin910.3 MB
• pytorch_model-00016-of-00046.bin910.3 MB
• pytorch_model-00017-of-00046.bin910.3 MB
• pytorch_model-00018-of-00046.bin910.3 MB
• pytorch_model-00019-of-00046.bin910.3 MB
• pytorch_model-00020-of-00046.bin910.3 MB
• pytorch_model-00021-of-00046.bin910.3 MB
• pytorch_model-00022-of-00046.bin910.3 MB
• pytorch_model-00023-of-00046.bin910.3 MB
• pytorch_model-00024-of-00046.bin910.3 MB
• pytorch_model-00025-of-00046.bin910.3 MB
• pytorch_model-00026-of-00046.bin910.3 MB
• pytorch_model-00027-of-00046.bin910.3 MB
• pytorch_model-00028-of-00046.bin910.3 MB
• pytorch_model-00029-of-00046.bin910.3 MB
• pytorch_model-00030-of-00046.bin910.3 MB
• pytorch_model-00031-of-00046.bin910.3 MB
• pytorch_model-00032-of-00046.bin910.3 MB
• pytorch_model-00033-of-00046.bin910.3 MB
• pytorch_model-00034-of-00046.bin910.3 MB
• pytorch_model-00035-of-00046.bin910.3 MB
• pytorch_model-00036-of-00046.bin910.3 MB
• pytorch_model-00037-of-00046.bin910.3 MB
• pytorch_model-00038-of-00046.bin910.3 MB
• pytorch_model-00039-of-00046.bin910.3 MB

הרישיון

המודל מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקולות, והפצה מחדש בתוך מוצרים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית, לצד ביצוע הערכת סיכונים עצמאית לפני פריסה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗