Huihui-Qwen3.5-9B-abliterated-GGUF

קוד פתוח

mradermacherapache-2.02026-03-10

transformers
gguf
abliterated
uncensored
en

גרסת GGUF שעברה הסרת מגבלות סירוב, מיועדת להרצה מקומית בלי חסימות תוכן. מי שבוחר בה מחפש תשובות ישירות בלי צנזורה.

76.9 GBמשקל הקבצים
51,756הורדות בחודש
38לייקים

מה זה

המאגר מכיל קווינטוטים סטטיים בפורמט GGUF למודל שעבר תהליך של הסרת מגבלות סירוב, על בסיס מודל תשעה מיליארד פרמטרים ממשפחת קוון. המטרה המרכזית בגרסאות כאלה היא לקבל תשובות על שאלות שמודלים רגילים מסרבים לענות עליהן עקב מנגנוני בטיחות מובנים. המפתח מציע כאן מגוון רחב של רמות דחיסה, לצד קבצי הרחבה למולטימודל שמאפשרים שילוב של קלט ויזואלי במערכות תומכות.

בכרטיס המודל אין מבחני ביצועים כמותיים או ציוני בנצ'מרק שמראים ירידה ביכולת בעקבות הסרת המגבלות, אבל יש הפניה מפורשת לגרפים של perplexity שמשווים בין סוגי הדחיסה השונים. הקבצים נעים בין דחיסות אגרסיביות מאוד ועד לרמת f16 מלאה, מה שמאפשר לבחור בדיוק את הפשרה הרצויה בין מהירות, נפח זיכרון ואיכות הפלט.

מתאים ל

מחקר אבטחת מידע
מאפשר בדיקות חדירות וניתוח תרחישי תקיפה בלי שהמודל יחסום שאלות טכניות רגישות.
עוזר מקומי על מחשב אישי
במשקל של כחמישה גיגה בייט הוא נכנס בקלות לכרטיס מסך ממוצע של שמונה גיגה זיכרון.
עיבוד תמונה וטקסט מקומי
שילוב קבצי ה־mmproj מאפשר ניתוח תמונות באופן פרטי לחלוטין על החומרה שלכם.

איפה זה נופל

הסרת מגבלות סירוב פוגעת לעיתים ביציבות ההיגיון ובדיוק העובדתי של התשובות, והכרטיס לא מביא נתונים על מידת הפגיעה הזו. בנוסף, השפה המוגדרת היא אנגלית בלבד, כך שאין שום הבטחה לאיכות סבירה בעברית. לפני שמשלבים אותו במערכת פעילה, חייבים לבדוק שהוא לא מייצר הזיות מוגזמות.

שאלות
נפוצות

איזו גרסת קובץ הכי מומלצת להורדה?

היוצר מסמן את גרסאות Q4_K_M ו־Q4_K_S כפשרה המומלצת ביותר בין משקל למהירות. אם יש לכם מספיק זיכרון בכרטיס המסך, גרסת Q8_0 תספק איכות פלט עדיפה.

בשביל מה צריך את קובצי ה־mmproj?

קבצים אלה מכילים את הרכיב המולטימודלי של המודל ומאפשרים לו לקבל תמונות כקלט. כדי להשתמש ביכולות עיבוד תמונה בתוכנות כמו llama.cpp, יש לטעון אותם לצד קובץ המודל הראשי.

איך מריצים

בשביל להריץ אותו צריך חומרה עם זיכרון גרפי שמתאים לגודל הקובץ הנבחר, יחד עם תוכנה תומכת כמו llama.cpp. גרסאות Q4_K_M או Q4_K_S שוקלות סביב 5.5 גיגה בייט ורצות מצוין על כרטיסי מסך ביתיים פופולריים עם שמונה גיגה זיכרון. אם יש לכם כרטיס עם שנים עשר גיגה ומעלה, גרסת Q8_0 במשקל 9.6 גיגה תיתן את האיכות הגבוהה ביותר בלי שתצטרכו להגיע לנפח המופרז של f16.

מי שאין לו כרטיס מסך ייעודי ייתקל בקצב יצירת תווים איטי מאוד על המעבד, ובמקרה כזה עדיף לשלם לפי שימוש לספק שמריץ גרסאות פתוחות.

ollama run hf.co/mradermacher/Huihui-Qwen3.5-9B-abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

F1617.9 GB Q8_09.5 GB Q6_K7.4 GB Q5_K_M6.5 GB Q5_K_S6.3 GB Q4_K_M5.6 GB Q4_K_S5.3 GB IQ4_XS5.1 GB Q3_K_L4.8 GB Q3_K_M4.6 GB Q3_K_S4.3 GB Q2_K3.6 GB F16918.2 MB Q8_0624.2 MB

הקבצים

16 קבצים במאגר, 76.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי מלא, שינוי הקוד והפצה מחדש. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים שלכם. אין דרישה לפתוח את הקוד של המוצר שבו תשלבו אותו.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗