magnum-v4-12b-gguf
קוד פתוחanthracite-orgapache-2.02024-10-09
גרסת קוונטיזציה של מודל 12B שמנסה לחקות את סגנון הכתיבה הפרוזאי של קלוד 3. הוא מבוסס על מיסטרל נמו ומיועד למי שמחפש טקסט עשיר בהרצה מקומית.
- 42.7 GBמשקל הקבצים
- 5,676הורדות בחודש
- 51לייקים
מה זה
מדובר באימון מלא של שני אפוקים על גבי בסיס של Mistral Nemo Instruct 2407, תוך שימוש בשמונה מאיצי H100. המטרה המוצהרת של הפרויקט היא לשחזר את איכות הניסוח, הזרימה והעומק של Claude 3 בדגמי Sonnet ו־Opus, אבל במשקל שרץ על חומרה ביתית.
במקום להתמקד בעוד מודל הוראות כללי ויבש, הדאטהסטים פה מורכבים ברובם משיחות, כתיבה יצירתית ודוגמאות ללא סירובים שנועדו להקנות לו שפה טבעית יותר. אין בכרטיס תוצאות מבחנים סטנדרטיים או ציוני בנצ'מרק רשמיים, מה שאומר שהמדד העיקרי כאן הוא תחושת הטקסט ולא פתרון בעיות לוגיות מורכבות.
מתאים ל
- כתיבה יצירתית באנגלית
האימון שלו כוון במיוחד לחקות את הניסוח והפרוזה של קלוד 3 עבור סיפורים וטקסט ספרותי.
- בוטים למשחקי תפקידים
מגיע עם תמיכה מובנית בתבניות של SillyTavern ודאטהסטים שמיועדים לדיאלוגים מורכבים.
- הרצה מקומית נטולת סירוב
מתאים למי שרוצה מודל גמיש במחשב האישי שלא נחסם על כל בקשה רגישה.
איפה זה נופל
המודל אומן על אנגלית בלבד ולכן לא מתאים לעבודה בעברית. בנוסף, המאגרים שהשתמשו בהם לאימון מכילים דאטה מפורש ללא סירובים וללא הודעות מערכת, מה שאומר שחסרות לו שכבות הסינון הרגילות. אם אתם בונים מוצר שצריך בקרת תוכן הדוקה או שמיועד לקהל הרחב, תצטרכו לבדוק היטב איך הוא מגיב לפני שאתם משלבים אותו.
אותה משפחה
magnum יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בעבודה ושיחה בעברית?
הכרטיס מציין רשמית רק תמיכה באנגלית. הבסיס של מיסטרל יודע לזהות מעט עברית, אבל האימון הספציפי התמקד באנגלית ולכן לא כדאי להסתמך עליו לפלט עברי איכותי.
איזה קובץ צריך להוריד מתוך ה־42 גיגהבייט שבעמוד?
לא מורידים הכל. המאגר מחזיק רמות דחיסה שונות בפורמט GGUF, וצריך לבחור רק קובץ בודד שמתאים לגודל הזיכרון שיש לכם במחשב.
איך מריצים
המשקל הכולל של כל הקבצים במאגר מגיע ל־42.7 גיגהבייט, אבל מדובר בכמה גרסאות GGUF שונות ולא מורידים את כולן יחד. בוחרים קובץ קוונטיזציה אחד שמתאים לזיכרון שלכם ומריצים אותו דרך llama.cpp או ממשקים תואמים כמו SillyTavern, שתומך ישירות בתבנית ההוראות של מיסטרל שמובנית פה.
כדי להריץ מודל 12B בקוונט סביר תצטרכו כרטיס מסך עם לפחות 8 עד 12 גיגהבייט זיכרון גרפי, או מספיק זיכרון מעבד אם אתם מוכנים להתפשר על המהירות. למי שלא מחזיק חומרה מתאימה ולא רוצה להסתבך עם הגדרות, עדיף להשתמש בפתרון ענן שמאחסן אותו כמו Featherless.
ollama run hf.co/anthracite-org/magnum-v4-12b-gguf:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
7 קבצים במאגר, 42.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר להשתמש במודל לצרכים מסחריים ופרטיים, לשנות אותו ולהפיץ אותו כחלק ממוצר, כל עוד אתם שומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים