ZAYA1-74B-preview

קוד פתוח

Zyphraapache-2.02026-05-05

safetensors
zaya

מודל מומחים שמחזיק 74 מיליארד פרמטרים אבל מפעיל רק 4 מיליארד בכל שלב. הוא מיועד למי שמחפש יכולות היסק עמוקות בחלון עצום, בלי לשלם בזמן ריצה של מודל ענק.

75Bפרמטרים
262,144טוקנים בהקשר
139 GBמשקל הקבצים
1,667הורדות בחודש

מה זה

מדובר במודל MoE עם 60 שכבות שמאפשר חלון הקשר חריג של 262,144 טוקנים. הרעיון כאן פשוט, מקבלים את רוחב היריעה והקיבולת של 75 מיליארד פרמטרים, אבל החישוב בפועל רץ על ארבעה מיליארד פרמטרים פעילים בלבד. הוא אומן כולו על חומרת AMD ומבוסס על ארכיטקטורת ZayaForCausalLM.

הנקודה הקריטית היא שמדובר בגרסת בסיס שמכוונת לחשיבה והיסק. אין כאן התאמות שיחה סטנדרטיות או אימון RL שנפוצים במודלים מסחריים מוכנים. זה כלי גולמי שמביא איתו תמיכה מובנית בחלוקת כלים בפורמט ייעודי ופרסר להיסק, אבל דורש עבודה כדי לקבל תשובות שמרגישות כמו עוזר אישי.

מתאים ל

עיבוד מסמכים ארוכים
חלון של 262,144 טוקנים מאפשר לבלוע קבצי ענק, בעוד שרק 4 מיליארד פרמטרים פעילים חוסכים זמן עיבוד.
משימות היסק מורכבות
המודל אומן כבסיס לחשיבה רב שלבית וכולל פרסר ייעודי לפירוק בעיות בלי שכבות ריכוך של שיחה.
אימון והתאמה אישית
גרסת בסיס ברישיון פתוח לחלוטין שמתאימה למי שרוצה לבצע כוונון עדין על דאטה פנימי משלו.

איפה זה נופל

זה צ'קפוינט מוקדם מסוג preview. הוא לא עבר התאמה לשיחה ולא עבר אימון חיזוק, ולכן הוא נוטה לפלוט תשובות גולמיות ולא מלוטשות. בנוסף, הארכיטקטורה דורשת שימוש בפורקים פרטיים של הספריות המוכרות ולא בגרסאות הרשמיות, מה שיוצר תלות קשה בתחזוקה חיצונית. אין שום תיעוד על ביצועים בעברית.

אותה משפחה

ZAYA1 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

ZAYA1-8B12,078 ZAYA1-base216

שאלות
נפוצות

האם המודל מוכן לעבודה ישירה מול לקוחות?

לא. הכרטיס מציין במפורש שהוא לא עבר fine-tuning לשיחה ולא עבר RL. אם תתנו לו שאלה פשוטה, הוא עלול להתנהג כמו מודל השלמת טקסט ולא כמו בוט צ'אט שמנסה לעזור.

אפשר להריץ אותו עם הגרסה הרגילה של transformers?

כרגע לא. צריך להתקין ענף ייעודי שהמפתחים פתחו עבור transformers או vLLM, שכולל גם בנייה של הספריות מקוד המקור.

איך מריצים

המשקל הכולל מגיע ל־139 גיגה בייט ב־40 קבצים, כך שצריך מערך שרתים רציני כדי לטעון אותו, בטח ב־bfloat16. המפתחים ממליצים להריץ אותו דרך vLLM ומציינים במפורש הגדרות מקביליות של שמונה כרטיסים גרפיים בשיטת DP ו־EP, כי אין תמיכה ב־TP רגיל בענף הנוכחי.

ההרצה דורשת התקנה ישירה מענפים ייעודיים של Zyphra בגיטהאב עבור transformers או vLLM, כולל הידור מקוד מקור. אם אין לכם גישה לשרת עם כמה כרטיסים חזקים ויכולת לקנפג סביבת פייתון מותאמת, זה לא משהו שתרצו להרים על תחנת עבודה בודדת.

pip install -U huggingface_hub
hf download Zyphra/ZAYA1-74B-preview

הקבצים

40 קבצים במאגר, 139 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. אפשר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בחופשיות. התנאי המרכזי הוא שמירה על זכויות היוצרים וציון הרישיון המקורי, בלי אחריות מצד המפתחים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗