Ministral-3b-instruct

מה זה

מדובר במודל שנוצר ככיוונון עדין על בסיס מיסטרל שבעה מיליארד, כשהמטרה היא לקבל התנהגות דומה אבל בחצי מכמות הפרמטרים. האימון שלו התבסס על שילוב של מאגרי מידע ציבוריים ודאטה סינתטי, והוא בנוי על אותה ארכיטקטורת רשת מוכרת של החברה המקורית רק עם פחות שכבות.

היתרון הבולט שלו לעומת שאר הדברים שתמצאו בקטגוריית השלושה מיליארד הוא היכולת לבלוע 131,072 טוקנים בהקשר יחיד. זה אומר שאפשר להזין לו מסמכים ארוכים שלמים בלי לחתוך אותם לחתיכות קטנות, תכונה שבדרך כלל שמורה למודלים כבדים בהרבה. מצד שני, המפרסמים לא שיתפו ציוני מבחנים או בנצ'מרקים רשמיים, כך שקשה לדעת מראש איך הוא מתמודד עם לוגיקה מורכבת לעומת המתחרים הישירים שלו.

מתאים ל

• תמצות מסמכים ארוכים באנגלית

  חלון של 131 אלף טוקנים מאפשר להכניס דוחות שלמים בבת אחת למודל קל משקל.

• סוכן מקומי לחומרה צנועה

  הוא שוקל 6.2 גיגה בלבד ויכול לרוץ מקומית על כרטיס גרפי פשוט או מחשב פיתוח.

• חילוץ מידע מפרומפט מובנה

  אימון ההוראות והארכיטקטורה המוכחת עוזרים לו להחזיר מבנים מוגדרים בלי להעמיס על השרת.

איפה זה נופל

היוצרים מציינים במפורש שהמודל מיועד בעיקר לאנגלית. מי שינסה להשתמש בו בעברית יגלה מהר מאוד שהוא לא שם, ומכיוון שאין עליו נתוני ביצועים רשמיים, צריך לבדוק אותו בעצמכם על משימות אמת. בנוסף, מודלים שמתאמנים על דאטה סינתטי נוטים לפעמים להישמע משכנעים מאוד גם כשהם ממציאים שטויות, ואי אפשר להסתמך על הידע שלו מעבר למה שתספקו לו ישירות בפרומפט.

איך מריצים

המשקל הכולל של הקבצים עומד על 6.2 גיגה בייט בדיוק של bfloat16, כך שכרטיס מסך בודד עם 8 עד 12 גיגה זיכרון יספיק לגמרי כדי להריץ אותו מקומית. הוא נתמך ישירות בספריית transformers, מה שהופך את ההרמה שלו בקוד פייתון לעניין של כמה שורות.

אם אתם צריכים לפתוח את כל חלון ההקשר המקסימלי, צריכת הזיכרון תעלה בצורה חדה מעבר לגודל המודל עצמו. במקרים של עומס כזה, או אם אין לכם חומרה ייעודית זמינה, משתלם יותר לפנות לממשקי ענן מוכנים במקום להחזיק שרת יקר שרובו יישב בלי שימוש.

from transformers import pipeline

pipe = pipeline("text-generation", model="ministral/Ministral-3b-instruct")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 6.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors3.0 GB
• model-00001-of-00003.safetensors3.0 GB
• model-00003-of-00003.safetensors698.4 MB
• tokenizer.json1.8 MB
• model.safetensors.index.json10.6 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.5 KB
• README.md814 B
• config.json619 B
• special_tokens_map.json510 B
• generation_config.json111 B

הרישיון

רישיון apache-2.0 הוא רישיון פתוח לחלוטין שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המודל בתוך המוצר שלכם. הדרישה היחידה היא לשמור על הקרדיט והצהרת הרישיון המקורית, בלי לשלם תמלוגים ובלי לפתוח את הקוד הפרטי שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗