GPT
הוספת כלי
P

pythia-1b

קוד פתוח

EleutherAIapache-2.02023-03-10

  • transformers
  • pytorch
  • safetensors
  • gpt_neox
  • text-generation

בסיס מחקרי קל משקל שמציע תיעוד מלא של תהליך האימון. מי שבוחר בו מחפש שקיפות מוחלטת או נקודת מוצא זולה לאימון עצמי.

  • 1.1Bפרמטרים
  • 2,048טוקנים בהקשר
  • 3.9 GBמשקל הקבצים
  • 68,886הורדות בחודש

מה זה

מדובר במודל שפה גולמי שפותח כחלק מסדרת ניסויים שנועדה לבדוק איך מודלים לומדים לאורך זמן. הוא אומן על מאגר The Pile שמכיל טקסטים מגוונים באנגלית, ממאמרים אקדמיים ועד קוד וכתוביות, בהיקף של קרוב ל־300 מיליארד טוקנים. בניגוד לרוב המודלים שמשוחררים רק בגרסתם הסופית, כאן החוקרים שמרו 154 נקודות ביניים לאורך כל שלבי הריצה.

ההבדל העיקרי בינו לבין מודלים אחרים בסדרי הגודל האלה, כמו OPT או סדרת GPT-Neo הישנה, הוא הדיוק המחקרי והעקביות בפרמטרים. המפתחים מדווחים שהביצועים שלו משתווים למקבילים שלו במבחנים סטנדרטיים, אף על פי שלא אופטם מראש למשימות קצה ספציפיות אלא למחקר התנהגותי.

מתאים ל

  • מחקר על תהליך הלמידה

    154 נקודות הביניים הזמינות מאפשרות לבדוק בדיוק מתי המודל רוכש יכולות מסוימות.

  • אימון ייעודי למשימה בודדת

    גודל של 1.1 מיליארד פרמטרים הופך fine-tuning למהיר וזול גם על חומרה צנועה.

  • השלמת טקסט באנגלית במכשיר קצה

    צריכת הזיכרון הנמוכה מתאימה להרצה מקומית בלי תלות בשרת חיצוני או ברשת.

איפה זה נופל

הוא לא עבר שום התאמה להוראות או כוונון באמצעות משוב אנושי, ולכן הוא לא יודע להתנהג כמו צ'אטבוט אלא רק מנחש את המשך הטקסט. אסור להסתמך עליו לעובדות, והוא עלול לפלוט ביטויים פוגעניים ומטים שהגיעו ישירות מהאינטרנט דרך The Pile. בנוסף, הוא מוגבל לאנגלית בלבד עם חלון הקשר קצר של 2,048 טוקנים, כך שאין מה לנסות להאכיל אותו בעברית או במסמכים ארוכים.

אותה משפחה

pythia יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

pythia-160m3,443,534 pythia-70m464,345 pythia-6.9b182,562 pythia-410m182,419 pythia-12b25,947

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כעוזר אישי או בוט תמיכה?

לא. המודל פולט המשך הסתברותי של הקלט ולא אומן לנהל שיחה, לענות בנימוס או להבין כוונות משתמש. בלי שתבצעו לו fine-tuning רציני משלכם, תקבלו תוצאות שלא מתאימות למוצר שמיועד לבני אדם.

איך המודל מתמודד עם טקסט בעברית?

רע מאוד. הוא אומן על The Pile שכולל מקורות באנגלית בלבד. הניסיון לכתוב לו בעברית יפיק ג'יבריש או טקסט שבור ולא שמיש.

איך מריצים

המשקל הכולל של הקבצים עומד על 3.9 גיגה בייט בדיוק float16, מה שאומר שאפשר להריץ אותו בקלות על כרטיס מסך ביתי בסיסי עם 6 או 8 גיגה זיכרון, או ישירות על המעבד בלי להזיע. הוא נתמך ישירות בספריית transformers עם ארכיטקטורת GPTNeoX.

אם כל מה שאתם צריכים זה שירות צ'אט או מענה אוטומטי לשאלות, אין שום הגיון להריץ אותו עצמאית ועדיף לפנות למודל מסחרי דרך API. הריצה המקומית שלו משתלמת רק כשרוצים לחקור את השכבות הפנימיות, לבדוק הבדלים בין נקודות האימון השונות, או לבצע fine-tuning על דאטה פרטי שלא יכול לצאת מהרשת.

from transformers import pipeline

pipe = pipeline("text-generation", model="EleutherAI/pythia-1b")
print(pipe("שלום"))

הקבצים

8 קבצים במאגר, 3.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי, שינוי של הקוד והמשקלים והפצה חופשית. אתם יכולים לקחת אותו, לאמן עליו מודל משלכם ולמכור אותו בתוך תוכנה, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗