GPT-X2.5-135M

מה זה

מדובר במודל גנרטיבי זעיר של 135 מיליון פרמטרים, שנבנה על ארכיטקטורה מותאמת בשם TX-3 עם מנגנון קשב XGQA ושלושים שכבות. המפתחים אימנו אותו מאפס על 75 מיליארד טוקנים בלבד, תוך שימוש בתהליך למידה הדרגתי שכלל טקסט לימודי, קוד פייתון, ודאטה סינתטי. הגרסה הזו מרחיבה את שכבות ה־Feed-forward, מאריכה את חלון ההקשר ומצרפת טוקנים ייעודיים של ChatML ישירות לטוקנייזר.

במבחני הביצועים הוא מקבל ציון של 25.17 במדד ה־Intelligence Index, מרחק של פחות משתי נקודות מ־SmolLM2 שדרש שני טריליון טוקנים לאימון. בפועל זה אומר שבמשימות ידע כללי כמו ARC-Challenge הוא עומד על 29.18%, ובמבחן ההיגיון הפיזיקלי PIQA הוא אף עוקף אותו עם 69.42%. עם זאת, במבחני חשיבה מתמטית וקריאה מורכבת הוא עדיין מפגר מאחורי המודל של HuggingFace.

מתאים ל

• השלמת קוד מקומית

  מתאים להרצה במחשב אישי ככלי עזר מהיר לכתיבת פייתון, בזכות אימון ייעודי על מאגר קוד מסודר.

• סיווג טקסט על מכשירי קצה

  משקלו הקל מאפשר הטמעה על חומרה חלשה לניתוח טקסטים קצרים באנגלית באפס עלות שרתים.

• פתרון בעיות חשבון בסיסיות

  נבדק במיוחד על ArithMark-3 ומפיק תוצאות יציבות יחסית לגודלו בחישובים פשוטים.

איפה זה נופל

המודל אומן אך ורק באנגלית, כך שאין מה לבנות עליו לעיבוד או יצירה של עברית. חלון ההקשר אמנם הוגדל, אך עם 135 מיליון פרמטרים היכולת לשמור על עקביות לאורך אלפי טוקנים מוגבלת מאוד בפועל. מעבר לזה, המודל משתמש בארכיטקטורה ובטוקנייזר מותאמים, מה שמחייב הרצת קוד מותאם אישית ב־transformers ועלול להקשות על הטמעה בספריות שאינן תומכות בו ישירות מהקופסה.

איך מריצים

המשקל הכולל של הקבצים הוא 518 מגה-בייט בלבד. אפשר להריץ אותו דרך ספריית transformers על מעבד רגיל של מחשב נייד, טלפון, או כרטיס מסך ביתי ישן בלי להרגיש עומס על הזיכרון. אין פה גרסאות שונות להורדה, המשקלים מגיעים בפורמט float32 ומוכנים לטעינה ישירה.

הקריאה ל־API חיצוני הופכת לעדיפה ברגע שהמשימה דורשת ידע עמוק, הפקת טקסטים ארוכים בלי הזיות, או הבנה רחבה של הנחיות מורכבות. המודל הזה שווה את זה כשצריך ריצה מקומית מוחלטת בלי תלות ברשת ובעלויות שימוש חודשיות, אבל הוא לא מתחרה במודלי ענן גדולים.

from transformers import pipeline

pipe = pipeline("text-generation", model="AxiomicLabs/GPT-X2.5-135M")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 518 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors540.2 MB
• tokenizer.json2.3 MB
• intelligence_index_vs_compute_flops.png244.0 KB
• AxiomicBanner.png88.0 KB
• modeling_gptx2.py10.2 KB
• README.md9.6 KB
• export_to_hf.py2.2 KB
• .gitattributes1.6 KB
• configuration_gptx2.py1.3 KB
• tokenizer_config.json927 B
• config.json744 B
• usage.py744 B
• special_tokens_map.json192 B
• generation_config.json141 B
• .gitignore44 B
• __init__.py43 B

הרישיון

רישיון apache-2.0 מתיר שימוש מסחרי חופשי לחלוטין, שינוי של המשקלים והפצה שלהם בתוך מוצרים סגורים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים ועותק של הרישיון המקורי בקוד או בהפצה. אין מגבלות על מספר משתמשים ואין חובה לפתוח קוד קנייני.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗