Hymba-1.5B-Base

מה זה

מדובר במודל שפה של 1.5 מיליארד פרמטרים שמנסה לפתור את צוואר הבקבוק המוכר של זיכרון במודלים קטנים. במקום להסתמך רק על ארכיטקטורת טרנספורמר רגילה, אנבידיה שילבה כאן בתוך אותה שכבה ראשי קשב סטנדרטיים יחד עם ראשי SSM של Mamba. מתוך 32 השכבות, רק שלוש מריצות קשב מלא, והשאר משתמשות בחלון מחליק לצד שיתוף של זיכרון ה־KV בין שכבות שונות ובין ראשים. בנוסף, המודל מחבר טוקנים לומדים מיוחדים בתחילת כל קלט כדי להפחית עומס מחישובי הקשב הרגילים.

לפי הדיווח של אנבידיה, השילוב ההיברידי הזה עוקף את כל מודלי הקוד הפתוח האחרים בקטגוריה של עד שני מיליארד פרמטרים. בפועל, המשמעות של התכנון הזה היא דרישת זיכרון נמוכה בהרבה בזמן ריצה, לצד יכולת לשמור על הקשר סביר של 8,192 טוקנים בלי לקרוס תחת עלויות החישוב.

מתאים ל

• בסיס לכוונון משימות ייעודיות

  מתאים לאימון המשך על נתונים פנימיים עם ספריות כמו LMFlow וטכניקות LoRA יעילות.

• הסקה על חומרת קצה מוגבלת

  משקל של 2.8 גיגה בייט ושיתוף זיכרון KV מאפשרים להריץ אותו ישירות על מחשבים פשוטים.

• ניסויי ארכיטקטורה היברידית

  בדיקת השילוב בין Mamba למנגנוני קשב במחקרים פנימיים לפני מעבר למודלי ענק.

איפה זה נופל

זהו מודל בסיס ולא מודל שעבר התאמה לשיחה, ולכן הוא לא מתאים לשימוש ישיר מול משתמשים בלי כוונון מקדים. אנבידיה מודה במפורש בתיעוד שהמודל אומן על מידע מהאינטרנט שכולל שפה פוגענית והטיות, והוא עלול לייצר טקסט רעיל, שגוי או להשמיט עובדות חשובות. מעבר לזה, המודל פגיע למתקפות עקיפת מגבלות. אם אתם בונים מערכת סוכנים או שליפת מידע שמזינה קלט משתמש ישירות למודל, חובה לשים שכבות סינון ובקרה קשיחות ביציאה.

אותה משפחה

Hymba יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך עם תמיכה ב־CUDA 12.1 או 12.4 ופייתון עם PyTorch 2.5, בעיקר בגלל התלות במנגנון FlexAttention. הקבצים שוקלים כ־2.8 גיגה בייט בדיוק של bfloat16, כך שכרטיס מסך ביתי מודרני עם שמונה או שנים עשר גיגה זיכרון מריץ אותו מקומית בלי בעיה מיוחדת. אנבידיה מציעה תמונת דוקר מוכנה כדי לחסוך את כאב הראש של התקנת התלויות הייחודיות, וטעינה ישירה דרך transformers דורשת להפעיל trust_remote_code.

אם אתם לא מתכוונים לאמן אותו או להריץ אותו בסביבת קצה מקומית, הקמה של סביבה כזו מאפס בשביל כמה שאילתות בודדות היא התעסקות מיותרת, ועדיף פשוט לצרוך מודל גדול יותר דרך ספק ענן חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/Hymba-1.5B-Base")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 2.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.0 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• images/performance2.png198.6 KB
• images/macro_arch.png143.0 KB
• modeling_hymba.py118.4 KB
• images/module.png117.3 KB
• images/performance1.png83.2 KB
• README.md9.6 KB
• configuration_hymba.py4.2 KB
• config.json2.9 KB
• tokenizer_config.json2.1 KB
• .gitattributes1.5 KB
• setup.sh1.2 KB
• special_tokens_map.json552 B
• generation_config.json154 B
• added_tokens.json21 B

הרישיון

המודל מופץ תחת רישיון NVIDIA Open Model License Agreement, שמוגדר כרישיון מותאם אישית ומאפשר שימוש מסחרי. עם זאת, לפני שמטמיעים אותו במוצר מסחרי, חובה לקרוא את נוסח ההסכם המלא של אנבידיה ולוודא שהשימוש שלכם עומד בכל ההגבלות המשפטיות והתנאים הספציפיים שהם מחילים על שימוש במודלים פתוחים שלהם.

הרישיון המלא בעמוד המודל ↗