Mistral-7B-v0.1

מה זה

מדובר במודל גנרטיבי מאומן מראש של שבעה מיליארד פרמטרים, שמבוסס על ארכיטקטורת שנאי עם מנגנוני Grouped-Query Attention וחלון קשב מחליק. לפי המפתחים, הוא מציג ביצועים טובים יותר מ־Llama 2 13B בכל המבחנים שהם בדקו, למרות שהוא כמעט חצי ממנו בגודל.

המשמעות בפועל היא יכולת לקבל ביצועים של מודלים בינוניים בתוך מעטפת חישובית של מודל קטן יחסית. הוא מגיע עם טוקנייזר מסוג Byte-fallback BPE ותומך בהקשר ארוך של 32,768 טוקנים, שמאפשר לעבד מסמכים ארוכים ברצף אחד, אבל מיועד רשמית לשפה האנגלית בלבד.

מתאים ל

• בסיס לכוונון עדין

  נקודת מוצא מעולה לאימון מודל מותאם אישית למשימות ספציפיות באנגלית בזכות ארכיטקטורה יעילה.

• עיבוד טקסטים ארוכים

  חלון של 32k טוקנים מאפשר לקרוא ולנתח מסמכים שלמים בלי לחתוך אותם לחלקים קטנים.

• יצירת טקסט גולמי

  מתאים להשלמת טקסטים וכתיבה חופשית שאינה דורשת שיחה או מענה ישיר בסגנון צ'אט.

איפה זה נופל

זהו מודל בסיס נקי, ולכן הוא מגיע ללא מנגנוני מתינות, סינון תוכן או יישור להוראות. הוא נוטה להמשיך טקסט ולא בהכרח לענות לשאלות, ועלול לפלוט תוכן פוגעני בלי בקרה. בנוסף, הוא מתועד לאנגלית בלבד, כך שלא הייתי בונה עליו למשימות בעברית בלי בדיקה מעמיקה של הטוקניזציה והפלט מראש.

אותה משפחה

Mistral יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו במשקלי bfloat16 מקוריים צריך להוריד 27.5 גיגה בייט של קבצים ולהחזיק כרטיס מסך עם לפחות 16 עד 24 גיגה בייט זיכרון וידאו. ההרצה דורשת שימוש בספריית transformers מגרסה 4.34.0 ומעלה כדי להימנע משגיאות טעינה של הארכיטקטורה.

אם אין לכם כרטיס כזה פנוי בשרת או מקומית, עדיף לפנות לפתרון מנוהל שחושף אותו ב־API. ההתעסקות עם ניהול זיכרון וקבצים בנפח כזה שווה את המאמץ רק אם אתם חייבים שליטה מוחלטת במשקלים או מתכננים לאמן עליו שכבות התאמה.

from transformers import pipeline

pipe = pipeline("text-generation", model="mistralai/Mistral-7B-v0.1")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 27.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• model-00001-of-00002.safetensors9.9 GB
• pytorch_model-00002-of-00002.bin5.1 GB
• model-00002-of-00002.safetensors4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json25.1 KB
• pytorch_model.bin.index.json23.9 KB
• README.md1.5 KB
• .gitattributes1.5 KB
• tokenizer_config.json996 B
• config.json571 B
• special_tokens_map.json414 B
• generation_config.json116 B

הרישיון

הוא מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי מלא, שינוי של הקוד והמשקלים והפצה מחדש. אין כאן הגבלות שימוש מעיקות, ואתם יכולים לשלב אותו במוצר מסחרי בלי לשלם תמלוגים, כל עוד שומרים על תנאי הרישיון והקרדיט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗