Mistral-7B-v0.2

מה זה

מדובר במודל בסיס שחולץ ממשקלי המקור של מיסטרל והומר לפורמט של transformers. הוא לא עבר התאמה לשיחה ולא קיבל הנחיות, אלא רק מנחש את הטוקן הבא. היתרון המרכזי שלו מול גרסאות בסיס ישנות יותר בגודל הזה הוא חלון הקשר מורחב שמגיע ל־32,768 טוקנים, מה שמאפשר לעבד מסמכים כבדים בלי לחתוך אותם מראש.

המשקלים כאן מיועדים למפתחים שמחפשים נקודת פתיחה טובה לאימון נוסף. הוא מתאים להשלמת טקסט או כבסיס ל־fine-tuning ייעודי למשימות מוגדרות, אבל הוא לא יענה כמו צ'אטבוט אם לא תבצעו עליו התאמה.

מתאים ל

• בסיס לכוונון עצמאי

  נקודת מוצא גולמית ונקייה לאימון מודל קל על נתונים פנימיים שלכם.

• עיבוד מסמכים ארוכים

  חלון של 32,768 טוקנים מאפשר הזנת קבצים שלמים בלי לקטוע את ההקשר.

• השלמת קוד או טקסט

  מבצע המשך טבעי של תבניות קבועות במערכות אוטומציה.

איפה זה נופל

הכרטיס עצמו כולל אזהרה מפורשת שהצ'קפוינט עלול לא להיות מעודכן, ומפנה לארגון הרשמי של מיסטרל. בנוסף מצוין שם שתצטרכו אולי להעתיק ידנית את קובץ הטוקנייזר ממאגר אחר כדי שהריצה תעבוד. זהו מודל בסיס בלבד, מה שאומר שהוא ימשיך טקסט במקום לענות על פקודות, ואי אפשר לשלב אותו במוצר בלי אימון מקדים או מעטפת מתאימה.

איך מריצים

המשקלים תופסים 13.5 גיגה-בייט בדיוק bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה-בייט זיכרון כדי לטעון אותו ישירות ב־transformers. אפשר לקוונטט אותו כדי לחסוך מקום, אבל המאמץ שווה רק אם אתם מתכוונים לאמן אותו או להריץ תהליך מקומי קבוע.

אם אתם רק צריכים תשובות מטקסט או שיחה מול משתמש, אין שום סיבה להרים תשתית פרטית עבור מודל בסיס כזה. עדיף לפנות ל־API חיצוני שחוסך את כל התחזוקה ומריץ גרסאות שעברו fine-tuning.

from transformers import pipeline

pipe = pipeline("text-generation", model="mistral-community/Mistral-7B-v0.2")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json23.9 KB
• .gitattributes1.5 KB
• tokenizer_config.json960 B
• config.json596 B
• README.md528 B
• special_tokens_map.json414 B
• generation_config.json111 B

הרישיון

רישיון apache-2.0 מתיר שימוש מסחרי חופשי לחלוטין, שינוי של הקוד והמשקלים והפצה שלהם מחדש. הדרישה העיקרית היא לכלול את תנאי הרישיון המקוריים ומתן קרדיט, בלי אחריות משפטית מצד היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗