mistral-ft-optimized-1218

מה זה

מדובר במיזוג שנבנה באמצעות Mergekit בשיטת slerp, ומבוסס על Mistral-7B-v0.1. הוא משלב שכבות משני מודלים מורכבים בעצמם, אחד נוטה יותר לצ'אט ולהוראות כלליות והשני מתמקד ביכולות מתמטיות והסקה. החיבור הזה נועד לחסוך אימון מאפס ולתת נקודת פתיחה עשירה ומאוזנת יותר מאשר מודל הבסיס הרגיל.

המטרה המוצהרת של היוצרים היא לספק בסיס חזק לכוונון עדין למשימות מוגדרות. אין כאן מדידות רשמיות או ציוני בנצ'מרק ישירים בכרטיס, אלא הסתמכות על בדיקות פנימיות של החברה והיסטוריית המיזוגים של הקהילה. השפה המוגדרת בו היא אנגלית בלבד.

מתאים ל

• בסיס לכוונון עדין

  נקודת מוצא מאוזנת למי שרוצה לאמן מודל 7B למשימה פרטית באנגלית.

• מחקר מיזוגי מודלים

  בדיקת ההשפעה של מיזוג slerp בין משקלי צ'אט ומתמטיקה.

• ניסויי שפה והסקה

  הרצה מקומית של משימות חשיבה וניתוח טקסט לשימוש פרטי ולא מסחרי.

איפה זה נופל

המודל מוגדר לאנגלית בלבד, כך שלא כדאי לבנות עליו לפרויקטים שדורשים עברית בלי אימון מקדים משמעותי. מעבר לזה, היוצרים עצמם מציינים מפורשות שהם הוציאו גרסה מעודכנת יותר וממליצים לעבור אליה ולא להשתמש בגרסה הזו. הכרטיס גם מציין שמדובר במיזוג זהה כמעט לחלוטין למודל קיים אחר של חבר קהילה בשם Weyaxi, ולכן אין פה פיתוח מקורי לחלוטין מאפס אלא שחזור של שילוב קיים.

איך מריצים

המשקל הכולל יושב על 13.5 גיגה בייט בדיוק bfloat16 ומחולק לעשרה קבצים בספריית transformers. כדי לטעון ולהריץ אותו בצורה מקומית תצטרכו כרטיס מסך עם לפחות 16 גיגה זיכרון גרפי, ועדיף 24 גיגה ומעלה אם אתם מתכננים גם לכוונן אותו או לנצל את חלון ההקשר המלא.

אם אין לכם חומרה ייעודית מקומית, עדיף להשתמש בשרת ענן שכור לשעות האימון או לגשת למודלים מקבילים דרך ספקי API מוכנים. זה יחסוך את כאב הראש של תחזוקת התשתית לגודל הזה.

from transformers import pipeline

pipe = pipeline("text-generation", model="OpenPipe/mistral-ft-optimized-1218")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors9.9 GB
• model-00002-of-00002.safetensors4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json22.8 KB
• README.md1.5 KB
• .gitattributes1.5 KB
• tokenizer_config.json967 B
• config.json642 B
• special_tokens_map.json414 B

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות פשוטה: מותר להשתמש במודל, לשנות אותו ולעשות עליו ניסויים ומחקר, אבל אסור לחלוטין להשתמש בו לצרכים מסחריים או לשלב אותו במוצר שמייצר הכנסה. אם המטרה היא מסחרית, אי אפשר להשתמש בגרסה הזו.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗