Zamba2-1.2B
קוד פתוחZyphraapache-2.02024-08-16
מודל שפה קטן ומהיר שמשלב בלוקים של Mamba2 עם שכבות תשומת לב משותפות. הוא מיועד למי שרוצה ביצועים טובים עד רמת שני מיליארד פרמטרים בלי להיחנק בזמן הסקה ובצריכת הזיכרון.
- 1.2Bפרמטרים
- 4,096טוקנים בהקשר
- 4.5 GBמשקל הקבצים
- 6,008הורדות בחודש
מה זה
הארכיטקטורה של המודל משלבת שכבות של Mamba2 עם שכבת טרנספורמר אחת שמשותפת לאורך הרשת. כדי שהשכבה המשותפת לא תאבד גמישות בכל שלב, הוסיפו לה מתאמי LoRA פנימיים ומשתמשים בקידודי מיקום מסוג RoPE, מה ששומר על מספר פרמטרים נמוך לצד יכולת ביטוי טובה יותר.
הוא אומן על שלושה טריליון טוקנים של טקסט וקוד מהרשת, כולל המאגר Zyda, ועבר עוד שלב של מאה מיליארד טוקנים איכותיים. הטוקנייזר שלו נלקח ממיסטרל, והמבנה ההיברידי מאפשר לו לייצר טוקנים מהר מאוד ובצריכת זיכרון נמוכה בהשוואה למודלי טרנספורמר רגילים בגודל הזה.
מתאים ל
- הסקה מקומית במכשירים חלשים
צריכת הזיכרון הנמוכה וארכיטקטורת Mamba2 מאפשרות הרצה מקומית חלקה ויעילה במיוחד.
- בסיס לאימון משימות ייעודיות
הוא מציע בסיס קל וזול לעידון נוסף על טקסט או קוד, בזכות אימון מוקדם מקיף.
- עיבוד והשלמת טקסט מהירה
זמן התגובה לטוקן ראשון וקצב הפליטה המהיר מתאימים להשלמת מחרוזות בקצב גבוה.
איפה זה נופל
זה מודל בסיס בלבד. הוא לא עבר התאמה לשיחה או להבנת הוראות, ולכן לא יתפקד כמו צ'אטבוט מהקופסה. בנוסף, אין בו שום סינון תוכן או מנגנוני בטיחות, והוא עלול לייצר טקסט פוגעני. ההטמעה שלו בתוך המערכת של HuggingFace מוגדרת כזמנית, מה שעלול ליצור שגיאות תאימות בכלים חיצוניים.
אותה משפחה
Zamba2 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם אפשר להשתמש בו ישירות כעוזר אישי או בוט תמיכה?
לא, הוא מודל בסיס שלא אומן לעקוב אחרי פקודות. אם תתנו לו שאלה הוא בעיקר ינסה לנחש איך הטקסט ממשיך, ולא יענה כמו שרגילים ממודלי צ'אט. בשביל מענה לפקודות תצטרכו לעשות לו fine-tuning בעצמכם.
למה ההתקנה שלו מסובכת יותר ממודלים רגילים ברשת?
המבנה שלו נשען על קרנלים ייעודיים של Mamba2 שדורשים קומפילציה ידנית של mamba-ssm וגרסאות פיתוח. אם תדלגו על השלב הזה המודל יעבוד לאט ויצרוך הרבה יותר זיכרון, מה שמבטל את היתרון העיקרי שלו.
איך מריצים
כדי להריץ אותו כמו שצריך חייבים לקמפל את mamba-ssm ישירות מהקוד בגיטהאב ולהתקין את causal-conv1d, יחד עם התקנה של ספריית transformers מהמקור. טכנית אפשר להריץ בלי הקרנלים הייעודיים, אבל המפתחים מבהירים שזה פשוט יזלול זיכרון ויעלה את זמני התגובה בצורה חדה.
במשקל קבצים של 4.5 גיגה בייט הוא רץ בקלות על כרטיס מסך ביתי בודד עם bfloat16. במצב כזה אין שום סיבה לשלם לספקי ענן על קריאות API חיצוניות, כל עוד יש לכם את החומרה המקומית והסבלנות להגדיר את סביבת הפיתוח עם התלויות המיוחדות.
pip install -U huggingface_hub hf download Zyphra/Zamba2-1.2B
הקבצים
8 קבצים במאגר, 4.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון apache-2.0 מאפשר שימוש חופשי בקוד ובמשקולות, כולל למטרות מסחריות ושינוי פנימי. אתם יכולים לשלב אותו במוצר בלי לחשוף קוד מקור, בתנאי שאתם שומרים על הודעות זכויות היוצרים והרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים