Mistral-7B-OpenOrca-GGUF

מה זה

המאגר הזה מציע קובצי GGUF של Mistral 7B שעבר כוונון עדין על דאטה-סט מבוסס GPT-4 של פרויקט OpenOrca. המטרה של האימון הייתה להנחיל למודל יכולות הנמקה שלב-אחר-שלב, ולא רק יצירת טקסט בסיסית. המודל עובד עם פורמט השיחה ChatML ומגיע עם חלון הקשר של 8k.

במבחני HuggingFace Leaderboard בעת שחרורו, הוא רשם ציון ממוצע של 65.33, מה שהציב אותו במקום השני מבין כל המודלים מתחת ל־30B ועקף כמעט כל מודל 13B קיים. במבחן MMLU הוא הוציא 61.73 וב־HellaSwag הגיע ל־83.79. הנתונים האלה מתורגמים ישירות להבנה טובה יותר של הוראות מורכבות, תחום שבו מודלים פתוחים קטנים נוטים להישבר בקלות.

מתאים ל

• עוזר מקומי למפתחים

  רץ ישירות על מחשב נייד חזק דרך LM Studio, אידיאלי למענה על שאלות טכניות ופתרון בעיות באנגלית בלי לשלוח מידע החוצה.

• פירוק משימות והנמקה

  אימון האורקה מכוון לחשיבה שלב אחר שלב, מה שמתאים לשאלות שמצריכות לוגיקה והסבר מפורט במשאבי חומרה צנועים.

• שרת צ׳אט עצמאי ופרטי

  שילוב במוצר פנימי בארגון דרך llama-cpp-python, תחת פורמט השיחה ChatML וללא תלות בחיבור לרשת חיצונית.

איפה זה נופל

הקובץ מוגדר לשפה האנגלית בלבד, ואימון OpenOrca מבוסס עליה. מי שינסה להשתמש בו לעברית יקבל ביצועים חלשים וערבוב תחבירי כבד. מעבר לכך, במבחן TruthfulQA הוא עומד על 52.24 בלבד, מה שאומר שהנטייה להזיות עדיין נוכחת מאוד, במיוחד בגרסאות מכווצות בכבדות כמו Q2_K או Q3 שמוגדרות מראש עם אובדן איכות גבוה. חובה לבדוק את התשובות שלו בעניינים עובדתיים לפני שמשלבים אותו בזרימת עבודה אמיתית.

אותה משפחה

Mistral-7B-OpenOrca יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אין שום סיבה להוריד את כל המאגר ששוקל 51.2 ג״ב, בוחרים קובץ בודד. הגרסה המאוזנת והמומלצת לרוב המשתמשים היא Q4_K_M שתופסת 4.37 ג״ב ודורשת כ־6.87 ג״ב זיכרון RAM בלבד אם מריצים על המעבד, או פחות מכך על VRAM אם מקצים שכבות לכרטיס המסך. למי שיש חומרה צנועה במיוחד אפשר לרדת ל־Q3_K_M שלוקח סביב 3.52 ג״ב, ולמי שדורש דיוק מרבי יש את Q5_K_M או Q6_K.

ההרצה מתבצעת מקומית דרך llama.cpp, ספריות כמו ctransformers ו־llama-cpp-python, או תוכנות שולחניות כמו LM Studio. שווה להריץ אותו לבד אם אתם צריכים פרטיות מלאה או רוצים אפס עלויות תעבורה, אבל אם המטרה היא שירות ייצור שדורש זמני מענה של אלפיות השנייה לעשרות משתמשים במקביל, שרת מרוחק או API ייעודי עדיין יהיו יציבים יותר.

ollama run hf.co/TheBloke/Mistral-7B-OpenOrca-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

15 קבצים במאגר, 51.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• mistral-7b-openorca.Q8_0.gguf7.7 GB
• mistral-7b-openorca.Q6_K.gguf5.9 GB
• mistral-7b-openorca.Q5_K_M.gguf5.1 GB
• mistral-7b-openorca.Q5_0.gguf5.0 GB
• mistral-7b-openorca.Q5_K_S.gguf5.0 GB
• mistral-7b-openorca.Q4_K_M.gguf4.4 GB
• mistral-7b-openorca.Q4_K_S.gguf4.1 GB
• mistral-7b-openorca.Q4_0.gguf4.1 GB
• mistral-7b-openorca.Q3_K_L.gguf3.8 GB
• mistral-7b-openorca.Q3_K_M.gguf3.5 GB
• mistral-7b-openorca.Q3_K_S.gguf3.2 GB
• mistral-7b-openorca.Q2_K.gguf3.1 GB
• README.md23.5 KB
• .gitattributes2.3 KB
• config.json31 B

הרישיון

המודל מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי חופשי, שינוי הקוד והפצה מחדש. מותר לשלב אותו במוצרים מסחריים בלי לשלם תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗