Huihui-Qwen3-30B-A3B-Instruct-2507-abliterated-GGUF

קוד פתוח

mradermacherapache-2.02025-08-02

transformers
gguf
abliterated
uncensored
en

גרסה מכווצת ומנוטרלת סירובים של מודל ההוראות מסדרת קוון, שמיועדת למשתמשים שרוצים להריץ מודל גדול יחסית מקומית ללא מגבלות בטיחות מובנות.

194 GBמשקל הקבצים
18,069הורדות בחודש
37לייקים

מה זה

מדובר במארז קבצי כימות בפורמט GGUF שהמפתח mradermacher יצר עבור המודל Huihui-Qwen3-30B-A3B-Instruct-2507-abliterated. המודל המקורי עבר תהליך שנקרא abliteration, שנועד לנטרל את מנגנוני הסירוב הרגילים שחברות מטמיעות נגד תכנים רגישים או שאלות שנויות במחלוקת. הוא מגיע עם כוונון עדין למענה על הנחיות באנגלית, ומיועד להרצה דרך תשתיות מבוססות llama.cpp בלי תלות בענן.

דף המודל לא מציג תוצאות של מבחני ביצועים סטנדרטיים, כך שקשה לדעת במדויק איך תהליך נטרול הסירובים והכימות השפיעו על היכולות הלוגיות שלו ביחס למודל הבסיס. עם זאת, היוצר צירף הפניות למחקרים כלליים על רמות כימות, שמזכירים שככל שיורדים בביטים, איכות הפלט וההיגיון של המודל נשחקים לטובת חיסכון במקום.

מי שבוחר במודל הזה מחפש מודל הוראות של 30 מיליארד פרמטרים שלא יטיף מוסר ולא יסרב לבקשות. ההבדל המרכזי מול מודלים רגילים בגודל הזה הוא החופש המלא בניסוחים, שמגיע לצד הצורך לקחת אחריות מלאה על התוכן שהוא מייצר.

מתאים ל

מחקר על מנגנוני בטיחות
המודל עבר הסרת סירובים, ולכן מתאים לבדיקת עמידות של פרומפטים ומחקר על גבולות המענה של מודלים פתוחים.
עיבוד טקסט חופשי ממסננים
טוב לניתוח טקסטים ספרותיים או תוכן רגיש באנגלית שהיה נחסם במודלים מסחריים רגילים.
הרצה מקומית על חומרה חזקה
גרסאות ה־Q4 מאפשרות להריץ מודל הוראות גדול ישירות על כרטיס מסך יחיד ללא תלות ברשת.

איפה זה נופל

המודל מוגדר רשמית רק באנגלית, ולכן לא מתאים למשימות בעברית ללא בדיקה מעמיקה של התוצרים. בנוסף, תהליך נטרול הסירובים מסיר את כל מסנני הבטיחות, מה שאומר שהמודל עלול לייצר מידע פוגעני, שגוי או רעיל בלי שום בלם פנימי. אם אתם מתכננים לשלב אותו במערכת מול לקוחות, תצטרכו לבנות שכבת בדיקות וסינון חיצונית משלכם כדי למנוע נזקים.

שאלות
נפוצות

איזו גרסה כדאי להוריד למחשב עם כרטיס מסך יחיד?

היוצר מציין כי גרסאות Q4_K_S ו־Q4_K_M הן המומלצות והמהירות ביותר. הן דורשות פחות מ־20 גיגה בייט של זיכרון ומאפשרות ריצה סבירה על כרטיס עם 24 גיגה בייט זיכרון וידאו. גרסאות קטנות יותר, כמו Q3_K_M, אמנם שוקלות פחות אך מוגדרות במפורש כבעלות איכות ירודה יותר.

מה המשמעות של מודל שהוגדר כ־abliterated?

המשמעות היא שבוצע שינוי במשקלי המודל כדי לנטרל את מנגנוני הבטיחות שגורמים לו לסרב להוראות מסוימות. הוא יענה על שאלות ללא צנזורה עצמית, אך דורש זהירות כפולה מצד המשתמש מאחר שאין לו שום מנגנון שמונע הפקת תוכן מזיק.

איך מריצים

כדי להריץ אותו צריך תוכנה שיודעת לעבוד עם קובצי GGUF, כמו llama.cpp או סביבות דומות. דף המודל מציע גרסאות כימות שנעות בין 11.4 גיגה בייט בגרסת Q2_K הנמוכה ועד 32.6 גיגה בייט בגרסת Q8_0, שמוגדרת כמהירה ובעלת האיכות הגבוהה ביותר. היוצר ממליץ על גרסאות Q4_K_S בנפח 17.6 גיגה בייט או Q4_K_M בנפח 18.7 גיגה בייט, שמספקות ריצה מהירה ואיכות טובה יחסית לגודל.

מבחינת חומרה, תצטרכו כרטיס מסך עם זיכרון וידאו של 24 גיגה בייט לפחות כדי להחזיק את גרסאות ה־Q4 בנוחות בתוך הזיכרון, או מעבד חזק עם זיכרון עבודה גדול אם אתם מתכוונים לפרוס חלק מהמשקל ל־RAM. אם אין לכם מחשב ייעודי עם מפרט כזה, עדיף להשתמש במודל ענן זמין במקום להשקיע ברכישת חומרה כבדה.

ollama run hf.co/mradermacher/Huihui-Qwen3-30B-A3B-Instruct-2507-abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_032.5 GB Q6_K25.1 GB Q5_K_M21.7 GB Q5_K_S21.1 GB Q4_K_M18.6 GB Q4_K_S17.5 GB IQ4_XS16.6 GB Q3_K_L15.9 GB Q3_K_M14.7 GB Q3_K_S13.3 GB Q2_K11.3 GB

הקבצים

13 קבצים במאגר, 194 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מדווח תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש חופשי בקוד ובמשקלים, כולל שימוש מסחרי, שינוי של הקבצים והפצה שלהם, כל עוד שומרים על הודעת זכויות היוצרים המקורית והתנאים הנלווים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗