Fimbulvetr-11B-v2-GGUF
קוד פתוחSao10Kcc-by-nc-4.02024-02-06
גרסת GGUF למודל של 11 מיליארד פרמטרים שמבוסס על Solar. פתרון שמתאים למי שמחפש ריצה מקומית של מודל שיחה וכתיבה בלי לשרוף משאבים על מודלי ענק.
- 42.0 GBמשקל הקבצים
- 2,722הורדות בחודש
- 118לייקים
מה זה
הפרויקט הזה מביא מיזוג או כוונון שמבוסס על ארכיטקטורת Solar של 11 מיליארד פרמטרים, כשהוא כבר ארוז בפורמט GGUF להרצה נוחה על מעבדים וכרטיסי מסך ביתיים. מודלים בגודל הזה תופסים נקודת אמצע נוחה. הם מציעים הבנה ואיכות טקסט גבוהות יותר מדגמי 7B ו־8B בסיסיים, אבל עדיין לא דורשים שרתי ענן יקרים או חומרת קצה מפלצתית כדי לתפקד בקצב סביר.
לפי כרטיס המודל, המטרה כאן היא בעיקר שיחה ומשחקי תפקידים, עם תמיכה מוצהרת בממשקים כמו SillyTavern והמלצה על פרופיל Universal Light. אין כאן דוחות ביצועים מסודרים, גרפים או מבחני השוואה רשמיים, אלא עבודה של יוצר עצמאי מהקהילה שנשען על פידבק של משתמשים. המודל תומך בשתי תבניות פקודה מוכרות, Alpaca ו־Vicuna, כך שאפשר לחבר אותו בקלות יחסית לכלים קיימים בלי לבנות עיבוד מיוחד לפרומפטים.
מתאים ל
- משחקי תפקידים ב־SillyTavern
היוצר ממליץ על תבנית Universal Light בתוכנה, והמודל עבר התאמה לשיחות כאלה.
- כתיבה יוצרת מקומית באנגלית
מתאים למי שצריך מודל יצירתי שרץ אופליין על מחשב אישי בלי תלות ברשת.
- ניסויי פרומפטים בתבניות מוכרות
התמיכה המובנית בפורמטים של Vicuna ו־Alpaca מאפשרת בדיקות קלות במערכות קיימות.
איפה זה נופל
כרטיס המודל לא כולל שום מדידות ביצועים, דוחות בטיחות או מידע על הדאטה-סט שבו השתמשו לאימון. המודל מוגדר רשמית רק באנגלית, כך שבכל מה שקשור לעברית אתם צפויים להיתקל בפליטת ג'יבריש, ניסוחים שבורים ותרגום עילג. בנוסף, מדובר במודל שמיועד לכתיבה חופשית ושיחה, ולא לחילוץ מידע מובנה, קוד מורכב או משימות שדורשות דיוק עובדתי קשיח. הכנסה שלו למערכת פרודקשן דורשת בדיקות מעמיקות מאפס.
אותה משפחה
Fimbulvetr יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
איזו תבנית פרומפט צריך להגדיר לו?
המודל תומך בשתי תבניות, Vicuna או Alpaca. היוצר מציין ששתיהן עובדות טוב, כך שאתם יכולים לבחור את זו שהמערכת שלכם כבר מוגדרת אליה בלי לבצע התאמות מיוחדות.
האם הוא יעבוד טוב בעברית?
המודל מתועד ומוגדר לשפה האנגלית בלבד. מודלים כאלה מבוססי Solar לרוב מתקשים מאוד בעברית, מייצרים שגיאות דקדוק ומאבדים הקשר במהירות, ולכן הוא לא מתאים לעיבוד שפה מקומית.
אפשר לשלב אותו באפליקציה מסחרית?
לא. הרישיון שמופיע במאגר הוא cc-by-nc-4.0, מה שאוסר כל שימוש מסחרי מכל סוג שהוא. הוא מיועד למחקר, פיתוח אישי ותחביב בלבד.
איך מריצים
בשביל להריץ אותו צריך כלי שתומך בפורמט כמו llama.cpp או LM Studio. גודל הקבצים הכולל במאגר מגיע ל־42.0 ג'יגה בייט על פני שמונה קבצים שונים, שמכילים רמות קוונטיזציה שונות. כדי להריץ קוואנט בינוני תצטרכו כרטיס מסך עם לפחות 12 עד 16 ג'יגה זיכרון גרפי, או מחשב עם זיכרון פנימי מספק אם מריצים בחלקו על המעבד.
אם אין לכם חומרה ייעודית כזו או שאתם בונים מערכת שצריכה לשרת משתמשים רבים במקביל, כנראה עדיף להשתמש ב־API של שירות ענן מסחרי. הרצה מקומית של מודל בגודל 11B מתאימה בעיקר לשימוש אישי, פיתוח מקומי ובדיקות של פרטיות מלאה.
ollama run hf.co/Sao10K/Fimbulvetr-11B-v2-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
8 קבצים במאגר, 42.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון כאן הוא cc-by-nc-4.0, שזה רישיון Creative Commons לא-מסחרי. אתם חייבים לתת קרדיט ליוצר, אבל החלק החשוב יותר הוא שאסור לחלוטין להשתמש בו למטרות מסחריות. אם אתם מתכננים להטמיע אותו במוצר שנמכר ללקוחות או מייצר הכנסה, תצטרכו לחפש מודל עם רישיון פתוח לחלוטין כמו אפאצ'י או MIT.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא