Muse-Glimmer-30B-Abliterated-GGUF

קוד פתוח

Blackfrost-AIapache-2.02026-08-10

gguf
muse-glimmer
abliterated
quantized
agentic

גרסה מכווצת למודל מולטימודלי של 30 מיליארד פרמטרים, שעברה הסרת מנגנוני סירוב כדי לענות על כל בקשה. היא מיועדת למי שרוצה ראייה ממוחשבת ויכולת הסקה מקומית בלי צנזורה.

164 GBמשקל הקבצים
96,181הורדות בחודש
46לייקים

מה זה

מדובר בהמרה לפורמט GGUF של המודל Muse Glimmer 30B מבית מטא, שעבר שינוי משקולות כדי להסיר לחלוטין את מנגנוני הבלימה הרגילים. במבחן R1 Harmful Bench של 450 שאלות, המודל הציג אפס סירובים לעומת מודלים סטנדרטיים שחוסמים בקשות רגישות. המודל שומר על יכולות ניתוח תמונה לצד טקסט, ותומך בחלון הקשר של 131,072 טוקנים.

הייחוד כאן הוא שילוב של מודל ראייה בגודל בינוני עם מנגנון האצה ייעודי בשם DFlash. לפי בדיקות המפתחים על כרטיס RTX PRO 6000, שימוש ברכיב ההאצה מעלה את קצב הייצור מ־46 טוקנים לשנייה לכ־73 טוקנים לשנייה, שזה שיפור של פי 1.6 במהירות בלי לפגוע בפלט.

מתאים ל

מחקר אבטחה מקומי
בדיקת חולשות וניתוח טקסטים ביטחוניים ללא חשש מחסימות סירוב אוטומטיות.
ניתוח מסמכים ותמונות
עיבוד מקומי של צילומי מסך ושרטוטים רגישים שלא רוצים להעלות לענן חיצוני.
סוכן אוטונומי ללא חסימות
הפעלת תהליכי עבודה ארוכים שדורשים ביצוע פקודות ישיר בלי עצירות על שיקולי תוכן.

איפה זה נופל

היוצרים מגדירים את השחרור כניסיוני, ומזהירים מבעיות פענוח, חוסר עקביות וכשלים בניתוח קריאות לכלים בעומס. מדובר במודל שנוטה לחשוב הרבה לפני שהוא עונה, ואם מגדירים תקציב של פחות מ־1,024 טוקנים, הוא עלול לשרוף את כולם על שלב ההסקה ולהחזיר תשובה ריקה לחלוטין.

בנוסף, הסרת הסירובים מוחלטת, מה שאומר שהמודל יפלוט תוכן פוגעני או מסוכן בלי שום הגנה פנימית. אסור לעצור אותו על הטוקן eom, והוא דורש שימוש בתבנית jinja כדי למנוע התנגשויות בהנחיות המערכת.

שאלות
נפוצות

האם אפשר להריץ אותו דרך llama-cli הרגיל?

אפשר להריץ את המודל הבסיסי, אבל מנגנון ההאצה DFlash עובד אך ורק תחת llama-server כי הוא דורש שיתוף הקשר עם מודל המטרה.

למה המודל מחזיר לפעמים תשובה ריקה לחלוטין?

זה קורה בגלל תקציב טוקנים נמוך מדי. המודל מקצה כמות גדולה של טוקנים לערוץ המחשבה, ואם מגדירים פחות מ־1,024 טוקנים הוא מסיים את המכסה לפני שהוא מתחיל לכתוב את הפלט.

האם הקובץ הראשי כולל תמיכה בתמונות?

לא, קובץ ה־GGUF הראשי מכיל רק את משקולות הטקסט. כדי להזין תמונות חייבים להוריד ולהגדיר בנפרד קובץ תואם עם קידומת mmproj.

איך מריצים

כדי להריץ אותו מקומית צריך את llama.cpp מגרסה b10353 ומעלה, וספציפית את llama-server אם מתכננים להשתמש במאיץ DFlash. הגרסאות נעות בין Q2_K ששוקלת 10.0 גיגה בייט ומיועדת למשאבים מוגבלים, דרך Q4_K_M ששוקלת 15.8 גיגה בייט ומתאימה לכרטיסי 24 גיגה בייט, ועד Q8_0 שמגיעה ל־27.6 גיגה בייט.

אם רוצים קלט תמונה, חייבים לטעון קובץ mmproj נפרד ששוקל בין 1.40 גיגה בייט ל־3.6 גיגה בייט. מי שמחזיק כרטיס מסך ביתי עם פחות מ־16 גיגה בייט זיכרון יתקשה מאוד להריץ את המודל יחד עם חלון הקשר סביר ורכיב הראייה, ועדיף לו לפנות לפתרונות ענן.

ollama run hf.co/Blackfrost-AI/Muse-Glimmer-30B-Abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_029.6 GB Q6_K22.9 GB Q5_K_M19.8 GB Q5_K_S19.3 GB Q4_K_M16.9 GB Q4_K_S16.1 GB Q3_K_M13.7 GB Q3_K_S12.5 GB Q2_K10.7 GB F165.1 GB F163.8 GB Q8_02.0 GB Q4_K_M1.6 GB Q4_K_M1.4 GB

הקבצים

19 קבצים במאגר, 164 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקולות, להפיץ אותו מחדש ולשלב אותו במוצרים סגורים. התנאי העיקרי הוא שמירה על הצהרת זכויות היוצרים המקורית והרישיון בתוך העותקים שמפיצים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗