Huihui-gemma-4-12B-agentic-fable5-abliterated-GGUF

מה זה

מדובר בהסבה של גרסה קודמת שעברה תהליך הסרת חסימות ישירות על גבי קובצי הפורמט של llama.cpp, בלי שימוש בספריית הטרנספורמרים הרגילה. המפתח השתמש בכלי ייעודי ליצירת וקטורים שמבטלים את מנגנוני הסירוב המובנים של המקור, מתוך מטרה לייצר כלי שלא חוסם בקשות סביב נושאים רגישים או שנויים במחלוקת.

הבסיס מוגדר כמיועד למשימות סוכניות וכתיבה, אך בגלל היעדר מוחלט של מסנני בטיחות, התוצאה עונה על פרומפטים שרוב המודלים המסחריים זורקים עליהם הודעת שגיאה. בדף המודל אין מבחני ביצועים או השוואות מספריות מול דגמים מקבילים, כך שקשה לדעת אם התהליך פגע ביכולות הניתוח והתכנות שלו ביחס למקור.

מתאים ל

• מחקר על מנגנוני סירוב

  הסרת החסימות בוצעה ישירות בפורמט מקומי, מה שמאפשר לבדוק שינויי התנהגות מול מודל הבסיס.

• סוכנים אוטונומיים סגורים

  עבודה ברשת פנימית שבה סירובים אוטומטיים של מודלים רגילים עוצרים תהליכים אוטומטיים.

• כתיבה יוצרת ללא מגבלות

  טקסטים בנושאים מורכבים שמערכות מסחריות נוטות לחסום באופן שרירותי.

איפה זה נופל

היוצרים מזהירים במפורש שהמודל עלול לפלוט תוכן פוגעני, רגיש או לא חוקי, וממליצים להגביל את השימוש בו למחקר ולסביבות מבוקרות בלבד. אין כאן מנגנוני הגנה בסיסיים, אסור לחבר אותו ישירות למשתמשי קצה בלי בדיקה אנושית, ואין שום נתונים בכרטיס שמוכיחים שהוא שומר על דיוק במשימות מורכבות.

איך מריצים

המשקל הכולל מגיע ל־13 גיגה בייט שמחולקים לארבעה קבצים, אותם צריך לאחד בעזרת כלי הפיצול הייעודי של llama.cpp לפני שטוענים את קובץ ה־Q8_0 לפקודת ההרצה. הרצה של קוונטיזציה כזו דורשת כרטיס מסך עם לפחות 16 גיגה בייט זיכרון כדי לעבוד חלק עם חלון הקשר של 8192 טוקנים.

אם יש לכם מחשב בלי מאיץ גרפי מתאים, הריצה על המעבד תהיה אטית ומסורבלת, ובמקרים כאלה משתלם יותר להשתמש במודל מרוחק דרך שירות חיצוני, בתנאי שלא חייבים את הגרסה הספציפית הזו שאינה מסוננת.

ollama run hf.co/huihui-ai/Huihui-gemma-4-12B-agentic-fable5-abliterated-GGUF:Q8_0

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

4 קבצים במאגר, 13.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Huihui-gemma4-v2-abliterated-Q8_0.gguf13.1 GB
• gemma-4-12B-it-MTP-F16.gguf861.5 MB
• README.md4.4 KB
• .gitattributes1.7 KB

הרישיון

הרישיון המדווח הוא apache-2.0, שמתיר שימוש מסחרי, שינוי קוד והפצה חופשית, כל עוד שומרים על תנאי הרישיון המקורי. עם זאת, היוצרים מדגישים שהאחריות המשפטית על הפלטים חלה כולה על מי שמריץ את המערכת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗