ZAYA1-8B

מה זה

מדובר במודל שכולל כמעט 8.8 מיליארד פרמטרים בסך הכל, אך בזכות ארכיטקטורת מומחים הוא מפעיל רק 760 מיליון פרמטרים בזמן ריצה. המבנה הזה נועד לייצר ביצועי חשיבה עמוקים בחומרה צנועה, עם חלון הקשר של 131,072 טוקנים שמיועד לפתרון בעיות מורכבות שמצריכות שרשרת חשיבה ארוכה.

במבחני מתמטיקה וקוד התוצאות חריגות לגודל שלו. במבחן AIME הוא מגיע לציון 89.1, תוצאה שעוקפת מודלים גדולים בהרבה כמו Mistral Small של 119 מיליארד פרמטרים ומשאירה מאחור מודלים מקבילים כמו Qwen ו־Gemma. הוא מתמודד בצורה דומה גם ב־LiveCodeBench, כך שלמשימות פיתוח ואלגוריתמיקה הוא מביא ביצועים של מודלים כבדים בהרבה.

מתאים ל

• פתרון בעיות מתמטיקה

  הוא משיג 89.1 במבחן AIME, תוצאה חזקה שמקבילה למודלים עצומים ומתאימה לאלגוריתמיקה מורכבת.

• כתיבת קוד ובדיקות

  ציון 65.8 ב־LiveCodeBench הופך אותו לפתרון מוצלח למשימות תכנות הדורשות שרשרת חשיבה מעמיקה.

• הסקה בסביבה מקומית

  עם 760 מיליון פרמטרים פעילים בלבד, הוא מאפשר חשיבה מעמיקה ישירות על גבי חומרה מקומית צנועה.

איפה זה נופל

ההתמקדות של המודל במתמטיקה מגיעה עם מחיר ברור בתחומים אחרים. במבחני סוכנים וקריאות לפונקציות הוא רושם ביצועים נמוכים במיוחד, עם ציון 39.22 ב־BFCL וציון 43.12 ב-τ², הרחק ממה שמציגים מודלים מקבילים של Qwen. הוא גם חלש יחסית בכתיבה יצירתית וסגנון שיחה, ולא מדווח שום מידע על תמיכה בעברית. לפני שמשלבים אותו במוצר שמצריך הפעלת כלים חיצוניים או תקשורת טבעית, כדאי לקחת בחשבון שהוא עלול להיכשל.

אותה משפחה

ZAYA1 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך בודד של 24 גיגה זיכרון VRAM, שבו 16.5 הגיגה של המשקלים יישבו בנוחות יחד עם מקום מספק לקשר הארוך. עם זאת, התהליך אינו טריוויאלי. המודל דורש התקנה ישירה מענפי פיתוח ייעודיים של vLLM או Transformers מתוך מאגר הגיטהאב של החברה, כולל בנייה מלאה מקוד מקור.

אם אין לכם סביבה ייעודית עם כרטיס מתאים או רצון להתעסק עם גרסאות לא רשמיות של ספריות הליבה, התחזוקה העצמאית תהיה מתסכלת. במקרים שבהם המערכת צריכה סביבת ייצור יציבה ללא תלות בקוד מפוצל, עדיף להמתין להטמעה מלאה בספריות הרשמיות או להשתמש בשירות מנוהל.

pip install -U huggingface_hub
hf download Zyphra/ZAYA1-8B

הקבצים

13 קבצים במאגר, 16.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00004.safetensors5.2 GB
• model-00002-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors5.0 GB
• model-00004-of-00004.safetensors2.5 GB
• tokenizer.json33.4 MB
• tokenizer_config.json1.2 MB
• model.safetensors.index.json119.9 KB
• chat_template.jinja10.7 KB
• README.md5.5 KB
• config.json1.7 KB
• .gitattributes1.6 KB
• special_tokens_map.json667 B
• generation_config.json188 B

הרישיון

המודל שוחרר תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים, והפצה מחדש ללא תשלום תמלוגים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים וצירוף עותק הרישיון המקורי בכל הפצה של המוצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗