Mistral-NeMo-12B-Instruct

מה זה

מדובר במודל שיחה שפותח במשותף על ידי אנבידיה ומיסטרל איי.איי, ומגיע במשקל של כמעט 23 גיגה בייט בפורמט המקורי שלו. הוא מבוסס על ארכיטקטורת טרנספורמר עם מנגנון גרופד קוורי אטנשן וכולל מילון רחב במיוחד. החוזק העיקרי כאן הוא הדחיפה של חלון הקשר עד 128 אלף טוקנים לגודל של 12 מיליארד פרמטרים, לצד אימון ששילב קוד ודאטה רב לשוני עד אפריל 2024.

במבחני הביצועים הוא מקבל 7.84 ב־MT Bench וציון של 0.629 ב־IFEval, מה שאומר שהוא עוקב בצורה סבירה מאוד אחרי הוראות מורכבות ביחס לגודל שלו. לצד זה, תוצאה של 0.534 ב־MixEval Hard מבהירה שהוא לא מחליף מודלי ענק במשימות היגיון קשות באמת, אבל הוא נותן פשרה טובה אם רוצים כוח חישובי מקומי והוראות ברורות.

מתאים ל

• עיבוד מסמכים ארוכים

  חלון של 128 אלף טוקנים מאפשר לבלוע קבצי טקסט שלמים, לנתח אותם ולחלץ מהם תשובות בלי לקטוע את המידע.

• עבודה עם קוד באנגלית

  הוא אומן על כמות גדולה של קוד ושיחה, ומתאים לחיבור לסביבות פיתוח מקומיות כעוזר אישי.

• התאמה פרטית בעזרת NeMo

  המבנה שלו נבנה לעבודה מול כלי ה־Fine-Tuning של אנבידיה עבור ארגונים שצריכים דגם סגור.

איפה זה נופל

למרות שהוא אומן על נתונים רב לשוניים, השימוש המיועד שהוגדר לו מראש הוא אנגלית בלבד. אם תנסו לתחזק איתו שיחות עמוקות בעברית בלי לבדוק אותו מראש, אתם מסתכנים בתוצאות לא יציבות. הנתונים שלו נחתכו באפריל 2024, אז הוא לא מודע למה שקרה מאז.

בנוסף, הכרטיס מזהיר במפורש שהאימון כלל טקסטים מהאינטרנט עם שפה רעילה והטיות חברתיות. הוא עלול לפלוט מידע שגוי, להשמיט פרטים קריטיים או להחזיר תגובות פוגעניות גם בלי שביקשתם ממנו, מה שמחייב שכבת סינון רצינית לפני שמחברים אותו ללקוחות.

אותה משפחה

Mistral-NeMo יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ את הקבצים המקוריים ששוקלים קרוב ל־23 גיגה בייט, אתם צריכים כרטיס מסך עם לפחות 24 גיגה בייט זיכרון רק כדי לטעון אותו, ועוד זיכרון נקי אם תרצו לנצל את חלון ההקשר הגדול במלואו. מי שאין לו חומרה כזאת יצטרך לפנות לגרסת ה־FP8 שמוזכרת בכרטיס, שמקטינה את הדרישות בלי לאבד דיוק, או להסתמך על תשתית ענן.

המודל מיועד לעבודה דרך ספריית NeMo של אנבידיה, שמאפשרת גם אימון והתאמות עם LoRA ושיטות יישור שונות. אם אתם לא מתכננים לעשות התאמות משלכם או להריץ אותו מאחורי פיירוול מקומי, שימוש ב־API מנוהל יחסוך את הכאב של הקצאת חומרה ייעודית.

pip install -U huggingface_hub
hf download nvidia/Mistral-NeMo-12B-Instruct

הקבצים

4 קבצים במאגר, 22.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Mistral-NeMo-12B-Instruct.nemo24.5 GB
• Mistral-NeMo-12B-tokenizer.json14.8 MB
• README.md3.2 KB
• .gitattributes1.7 KB

הרישיון

המודל שוחרר תחת רישיון אפאצ'י 2.0. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו, לבצע פיין טיונינג ולהטמיע אותו במוצרים שלכם בלי לשלם תמלוגים, כל עוד אתם שומרים על תנאי הרישיון המקורי ומתן הקרדיט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗