Skyfall-36B-v2

קוד פתוח

TheDrummerother2025-02-03

safetensors
mistral

גרסה מורחבת של Mistral Small 2501 שעברה אימון נוסף למשחקי תפקידים וכתיבה יצירתית. מתאים למי שמחפש מודל מקומי שלא נשמע יבש כמו מודלי הבסיס הרגילים.

37Bפרמטרים
32,768טוקנים בהקשר
68.8 GBמשקל הקבצים
1,841הורדות בחודש

מה זה

הבסיס כאן הוא Mistral Small 2501 שעבר הרחבה ל־37 מיליארד פרמטרים ואימון המשך שמכוון לטקסט חי ויצירתי. היוצר מציג תמיכה ביכולות הסקת מסקנות, מתמטיקה ושימוש בכלים, לצד חלון הקשר של 32,768 טוקנים וארכיטקטורה של 64 שכבות. הדגש העיקרי הוא סגנון כתיבה גמיש ועשיר שלא מרגיש כמו תבנית שיחה רובוטית.

בכרטיס אין מדדי ביצועים מספריים או מבחני השוואה סטנדרטיים, כך שקשה לאמת הצהרות לגבי מתמטיקה או כלים מול מודלים אחרים. מה שכן ברור הוא כיוון השימוש: התאמה חזקה לתרחישי משחק תפקידים, סיפורים אינטראקטיביים וכתיבה עלילתית, שבהם דיאלוגים אמינים והבנת ניואנסים של דמויות חשובים יותר מתשובות טכניות יבשות.

מתאים ל

משחקי תפקידים מקומיים
האימון הייעודי מספק סגנון דיבור חי והבנה של פרטי דמויות בלי הניסוח הרובוטי הרגיל.
כתיבת סיפורים ועלילה
תמיכה בתבנית Alpaca מאפשרת לייצר נרטיבים אינטראקטיביים עם חלון הקשר של 32K טוקנים.
דיאלוגים מותאמים אישית
מתאים לשיחות שדורשות טון משוחרר והומור בלי להיחסם על ידי תבניות ניסוח נוקשות.

איפה זה נופל

הבעיה הבולטת ביותר היא היעדר מוחלט של מדדי ביצועים אובייקטיביים בכרטיס המודל. אין שום תיעוד מסודר שמראה איך ההרחבה והאימון הנוסף השפיעו על דיוק העובדות, על יציבות הקוד או על יכולת הפעלת כלים. חוץ מזה, היוצר מציין במפורש שתבנית השיחה Metharme לא מומלצת לעבודה איתו, כך שחובה להקפיד על תבנית השיחה הנכונה כדי לא לקבל פלט שבור. לפני שמשלבים אותו במערכת אמיתית, חייבים לבדוק עצמאית שהוא לא ממציא עובדות או מאבד עקביות בהקשרים ארוכים.

אותה משפחה

Skyfall יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Skyfall-31B-v4.2-GGUF6,318 Skyfall-31B-v4.25,916

שאלות
נפוצות

איזו תבנית שיחה צריך להגדיר בהרצה?

היוצר ממליץ מאוד על תבנית Mistral v7 Tekken לביצועים הטובים ביותר. תבנית Alpaca מתאימה לסיפורים, אך תבנית Metharme סומנה במפורש ככזו שאינה מומלצת לשימוש במודל הזה.

האם אפשר להריץ אותו על מחשב ביתי?

הקבצים המקוריים שוקלים קרוב ל־69 ג'יגה בייט ודורשים חומרת שרתים יקרה. כדי להריץ אותו במחשב מקומי עם כרטיס מסך ביתי, חובה להוריד גרסת GGUF מכווצת דרך הקישורים שמספק המפתח.

איך מריצים

כדי לטעון את קובצי המקור המלאים בדיוק של bfloat16 תצטרכו להתמודד עם 68.8 ג'יגה בייט של משקלים, מה שמחייב לפחות 80 ג'יגה בייט של זיכרון גרפי, כלומר כרטיס A100 או מערך של שני כרטיסי 24 ג'יגה בייט ומעלה. אם אתם רוצים להריץ אותו על חומרה צרכנית רגילה, תצטרכו גרסאות מכווצות בפורמט GGUF, כפי שמופיע בקישורים למימושים של הקהילה.

מבחינת תבנית השיחה, הכרטיס מציין המלצה ברורה לעבוד עם תבנית Mistral v7 Tekken לקבלת התוצאות הטובות ביותר, בעוד תבנית Metharme מסומנת כלא מומלצת. תבנית Alpaca מוזכרת כאפשרות מעניינת בעיקר לסיפורים ולמשחקי בחירה.

pip install -U huggingface_hub
hf download TheDrummer/Skyfall-36B-v2

הקבצים

24 קבצים במאגר, 68.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר בתור other ללא פירוט של תנאי שימוש רשמיים בכרטיס. היוצר רק מבקש תרומה כספית ממי שמארח את המודל באופן מסחרי ומפיק ממנו רווח. מצב כזה אומר שאין לכם מסמך משפטי מוגדר, ומי שמתכנן להפיץ את המודל במוצר מסחרי לוקח סיכון מסוים עד לבירור תנאי הרישיון המדויקים ישירות מול המפתח.

הרישיון המלא בעמוד המודל ↗