GPT
הוספת כלי
M

Mistral-Large-Instruct-2411

קוד פתוח

mistralaiother2024-11-14

  • vllm
  • safetensors
  • mistral
  • mistral-common
  • en

מודל ענק של 123 מיליארד פרמטרים שמציע יכולות חשיבה, תכנות והפעלת כלים ברמה הגבוהה ביותר. הוא מתאים למי שרוצה ביצועים של מודל קצה בלי להיות כבול לספק ענן יחיד.

  • 123Bפרמטרים
  • 131,072טוקנים בהקשר
  • 457 GBמשקל הקבצים
  • 9,096הורדות בחודש

מה זה

מדובר במודל צפוף בגודל 123B שהושק בנובמבר 2024 כעדכון לגרסה הקודמת מחודש יולי. ההבדל העיקרי מורגש בשלושה תחומים קריטיים: עבודה עם חלון הקשר ארוך של 128 אלף טוקנים, מענה מדויק בהרבה להנחיות מערכת, ותמיכה מובנית בקריאות לפונקציות ופלט בפורמט JSON.

הוא אומן על עשרות שפות אנושיות ויותר מ־80 שפות תכנות, החל מ־Python ו־C++ הנפוצות ועד Swift ו־Fortran. המודל מתמקד בתרחישים של סוכנים אוטונומיים ומערכות ששולפות מידע ממסמכים ארוכים, שבהם נדרש מעקב קפדני אחרי הוראות בלי לאבד את ההקשר באמצע הדרך.

מתאים ל

  • סוכנים מרובי פונקציות

    חיבור ישיר של המודל לכלים חיצוניים ושליפת מידע במבנה JSON אמין עבור תהליכים אוטומטיים מורכבים.

  • ניתוח מסמכים ארוכים

    סריקה ומענה על שאלות מתוך טקסטים של עד 128 אלף טוקנים עם היצמדות חזקה למקורות המידע.

  • פיתוח ובדיקת קוד

    כתיבה, תרגום וניתוח של קוד בלמעלה מ־80 שפות תכנות, כולל שפות מערכת ישנות או ייעודיות.

איפה זה נופל

החיסרון הברור ביותר הוא דרישת החומרה המפלצתית שסוגרת את הדלת בפני הרצה מקומית על מחשבי פיתוח רגילים. מעבר לזה, רשימת השפות הנתמכות בכרטיס כוללת שפות אירופיות ומזרח אסייתיות, אך עברית אינה מופיעה בהן באופן רשמי, ולכן יש לבדוק היטב את איכות הפלט בעברית לפני שמסתמכים עליו. כמו כן, המודל רגיש מאוד לרווחים מיותרים בתבנית ההוראות ומחייב הגדרה מדויקת של הנחיית מערכת כדי לייצר תוצאות טובות.

שאלות
נפוצות

כמה זיכרון GPU אני צריך כדי להרים אותו?

הכרטיס מציין דרישה של מעל 300 גיגה־בייט בזיכרון ה־GPU. בדרך כלל מריצים אותו על שרת עם שמונה כרטיסים כמו A100 או H100 בתצורת tensor parallel.

האם אפשר להשתמש במודל הזה באפליקציה מסחרית?

לא באופן ישיר לפי תנאי הרישיון שפורסמו. המודל שוחרר תחת רישיון מחקר שמתיר שימוש לא מסחרי בלבד, כך שלמוצר מסחרי תצטרכו רישיון נפרד ממיסטרל.

למה המודל לא עונה לי טוב על הנחיות?

מיסטרל מדגישים שהמודל תלוי מאוד בהנחיית מערכת ברורה בפורמט V7. בנוסף, חובה להשתמש בספריית mistral_common כדי לוודא שאין רווחים עודפים שהורסים את התבנית.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־457 גיגה־בייט, וכדי להריץ אותו בכלל תצטרכו שרת עם מעל 300 גיגה־בייט של זיכרון גרפי. בפועל זה אומר שאי אפשר להסתפק בכרטיס בודד, וצריך מערך של שמונה מאיצים עם חלוקת עומסים דרך ספריית vLLM.

ההתקנה דורשת גרסאות עדכניות של vLLM ושל mistral_common כדי שהפעלת הפונקציות תעבוד כמצופה. אלא אם יש לכם שרת כזה שכבר עומד ומחכה במשרד, כלכלית וטכנית עדיף ברוב המקרים לפנות ל־API ייעודי ולא לנסות להרים תשתית עצמאית כזו מאפס.

pip install -U huggingface_hub
hf download mistralai/Mistral-Large-Instruct-2411

הקבצים

115 קבצים במאגר, 457 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון מחקר של מיסטרל, שאינו מתיר שימוש מסחרי חופשי. מותר לכם להוריד את המשקלים, לשנות אותם ולערוך עליהם ניסויים ומחקרים, אבל אסור לשלב אותו כחלק ממוצר שמניב הכנסות בלי להסדיר חוזה מול החברה.

הרישיון המלא בעמוד המודל ↗