pythia-6.9b

מה זה

המודל מגיע ממעבדת EleutherAI, והוא נבנה קודם כול בשביל חוקרים שרוצים להבין מה באמת קורה בתוך רשתות עצביות בזמן האימון. במקום לקבל רק משקלים סופיים, מקבלים כאן 154 נקודות ביקורת שונות לאורך מסלול הלמידה, מהצעד הראשון ועד צעד 143,000. כל הגרסאות במשפחה הזו ראו בדיוק את אותם 299,892,736,000 טוקנים מאגר The Pile ובאותו הסדר.

למרות שמטרת הפיתוח לא הייתה שבירת שיאים במשימות קצה, המפתחים מדווחים שהביצועים שלו תואמים או עוקפים מודלים מקבילים כמו OPT או GPT-Neo בגודל דומה. הוא אומן באנגלית בלבד ומבוסס על הארכיטקטורה של GPT-NeoX עם 32 שכבות ודיוק של float16.

מתאים ל

• מחקר יכולות פנימיות

  154 נקודות שמירה מאפשרות לבדוק בדיוק באיזה שלב אימון מודלים קולטים דפוסים מסוימים.

• בסיס להתאמה אישית

  אפשר לקחת את משקלי הבסיס ולאמן אותם נקודתית למשימות ספציפיות באנגלית.

• השוואת תהליכי אימון

  כל סדרת הגדלים ראתה את אותם הנתונים בדיוק, מה שמאפשר השוואה מדעית נקייה בין גדלים.

איפה זה נופל

זה לא צ'אטבוט ואי אפשר להשתמש בו כמו במוצר מוכן. הוא לא עבר התאמה עם משוב אנושי, ולכן הוא לא יודע לעקוב אחרי הוראות ועלול לפלוט טקסט פוגעני או עובדות מומצאות לחלוטין. הוא אומן על The Pile באנגלית בלבד ללא סינון כפילויות, ולכן לא מתאים לעברית או לתרגום.

אותה משפחה

pythia יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים תופסים 25.8 גיגה בייט בפורמט float16, כך שתצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה בייט זיכרון רק כדי לטעון אותו, או להשתמש בכימות. הטעינה נעשית ישירות דרך ספריית transformers הרגילה של Hugging Face, וניתן לגשת לכל שלב אימון באמצעות פרמטר ה־revision שמציין את מספר הצעד.

אם כל מה שאתם צריכים זה שירות טקסט פשוט ולא ניסויי אימון או התאמה אישית, שרת עצמאי לגודל כזה ידרוש חומרה יקרה שלא מצדיקה את עצמה לעומת שימוש ב־API קיים.

from transformers import pipeline

pipe = pipeline("text-generation", model="EleutherAI/pythia-6.9b")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 25.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• model-00001-of-00002.safetensors9.9 GB
• pytorch_model-00002-of-00002.bin3.9 GB
• model-00002-of-00002.safetensors3.9 GB
• tokenizer.json2.1 MB
• model.safetensors.index.json44.0 KB
• pytorch_model.bin.index.json42.0 KB
• README.md13.6 KB
• .gitattributes1.5 KB
• config.json571 B
• tokenizer_config.json396 B
• special_tokens_map.json99 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן אותו מחדש ולהפיץ אותו, כל עוד שומרים על תנאי הרישיון המקוריים והודעות זכויות היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗