Mistral-NeMo-Minitron-8B-Base

מה זה

אנשי אנבידיה לקחו את Mistral-NeMo המקורי בגודל 12B, קיצצו לו את ממדי השכבות וההטמעות, ואימנו אותו מחדש בתהליך זיקוק על 380 מיליארד טוקנים. הרעיון הוא לשמר חלק ניכר מהיכולת של מודל גדול יותר, אבל בגודל של כ־8.4 מיליארד פרמטרים שקל יותר לנהל.

במבחנים שמופיעים בדוח, הוא מגיע לציון של 69.5 ב־MMLU בחמש דוגמאות, ו־43.77 במבחן כתיבת הקוד MBPP. במתמטיקה עם GSM8K הוא עומד על 58.5 באפס דוגמאות. זה מציב אותו בטווח סביר לקטגוריה שלו, אבל מדובר במודל בסיס גולמי, כלומר הוא לא עבר התאמה לשיחה ולא מחזיר תשובות מלוטשות בלי הנחיה מדויקת או כוונון עדין נוסף.

מתאים ל

• אימון מודל ייעודי לדומיין

  נקודת מוצא יעילה לכוונון עדין על מסמכים משפטיים או פיננסיים, במקום להתחיל מאפס.

• השלמת קוד וטקסט פנימי

  השלמת משפטים ופונקציות ברמת התשתית בתוך מערכות סגורות שאינן דורשות ממשק צ'אט.

• מחקר על דחיסת מודלים

  בדיקת ביצועים של מודלים שנוצרו בגיזום וזיקוק בהשוואה למודלים שאומנו רגיל באותו גודל.

איפה זה נופל

זהו מודל בסיס שלא עבר יישור סופי או סינון בטיחות קפדני. המפתחים מציינים במפורש שהנתונים כוללים טקסטים מהרשת שמכילים שפה פוגענית והטיות חברתיות, כך שהוא עלול לפלוט מידע שגוי, להשמיט עובדות או לייצר תוכן לא הולם גם בלי פרומפט בוטה. בנוסף, חלון ההקשר מוגבל בפועל סביב 8,000 תווים או טוקנים, ותאריך חיתוך המידע שלו הוא יוני 2023, כך שהוא לא מכיר אירועים מאוחרים יותר.

אותה משפחה

Mistral-NeMo-Minitron יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו במשקל המקורי ב־bfloat16, המשקלים שוקלים מעל 31 גיגה־בייט ב־14 קבצים. תצטרכו כרטיס מסך עם זיכרון וידאו של לפחות 24 גיגה־בייט, או שרת ייעודי כמו A100 שעליו נבדק המודל, במיוחד אם רוצים לעבוד עם מנועים מהירים כמו TensorRT-LLM או סביבת NeMo על לינוקס.

הקוד דורש התקנה ישירה של transformers מגיטהאב או גרסה עדכנית, והוא נתמך בארכיטקטורות אמפר, הופר, לובלייס ובלקוול. אם אין לכם חומרה כזו זמינה ורציפה במשרד או בענן, הרצה עצמית של מודל בסיס כזה תהיה יקרה ולא משתלמת בהשוואה לשימוש בשרתים מנוהלים.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/Mistral-NeMo-Minitron-8B-Base")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 31.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• nemo/mistral-nemo-minitron-8b-base.nemo16.9 GB
• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors2.0 GB
• tokenizer.json9.3 MB
• tokenizer_config.json177.1 KB
• model.safetensors.index.json29.9 KB
• README.md5.8 KB
• .gitattributes1.6 KB
• config.json698 B
• NOTICE588 B
• special_tokens_map.json414 B
• generation_config.json111 B

הרישיון

המודל מופץ תחת רישיון NVIDIA Open Model License Agreement. זהו אינו רישיון קוד פתוח סטנדרטי מסוג MIT או אפאצ'י, אלא הסכם קנייני של אנבידיה עם תנאים ומגבלות שימוש משלהם, ולכן חובה לקרוא את נוסח ההסכם המלא לפני שמשלבים אותו במוצר מסחרי שמופץ למשתמשי קצה.

הרישיון המלא בעמוד המודל ↗