Huihui-gemma-4-12B-it-qat-q4_0-unquantized-abliterated-GGUF
קוד פתוחhuihui-aiapache-2.02026-06-08
גרסה נטולת עכבות ומנגנוני סירוב למודל של גוגל, שמגיעה בפורמט GGUF להרצה מקומית. מתאים למי שחייב מודל שלא יסרב לפקודות או יטיף מוסר בזמן העבודה.
- 30.0 GBמשקל הקבצים
- 25,349הורדות בחודש
- 63לייקים
מה זה
הבסיס כאן הוא מודל 12B של גוגל שעבר תהליך הסרת סירובים ידני. היוצרים התערבו ישירות במשקלים של שכבות 23 עד 36 כדי למחוק את הנטייה המובנית לסרב לפרומפטים, הן במצב החשיבה והן במצב הרגיל שלו. התוצאה היא מודל שמגיב לכל הוראה בלי מנגנוני הסינון הרגילים.
היוצרים עצמם מודים שמדובר במימוש בסיסי לצורך הוכחת היתכנות, שנעשה ללא שימוש בכלים ייעודיים כמו טרנספורמרלנס. אין כאן מדידות ביצועים מספריות או מבחנים השוואתיים שמראים אם הדיוק הכללי נפגע בדרך, אלא רק אישור לכך שהסירובים נוטרלו. מודל כזה נותן מענה בעיקר כשצריך לעקוף את המגבלות הקשיחות שהוטמעו במודל המקורי.
מתאים ל
- מחקר על הסרת סירובים
מאפשר לבחון מקומית כיצד התערבות ישירה בשכבות 23 עד 36 משפיעה על התנהגות מודל שפה.
- בדיקות חוסן פנימיות
מייצר תרחישי קיצון ותכנים רגישים בסביבה מבוקרת כדי לבחון מנגנוני סינון חיצוניים.
- עיבוד טקסט ללא צנזורה
עונה על פרומפטים ישירים בלי להיתקע על מנגנוני מוסר שקיימים במודל הבסיס של גוגל.
איפה זה נופל
היוצרים מבהירים שמדובר במימוש גס והוכחת היתכנות בלבד, ללא ערבויות בטיחות כלשהן. המודל עלול לייצר תוכן פוגעני, שנוי במחלוקת או בעייתי מבחינה חוקית, ולכן הוא לא מתאים למשתמשים קטינים או למערכות פתוחות לציבור. מכיוון שהוסרו שכבות סירוב באופן ישיר, חובה לבדוק ידנית את הפלטים ולוודא שהדיוק הלוגי הבסיסי לא נפגע.
שאלות
נפוצות
האם המודל הזה מתאים למוצר מסחרי שפונה למשתמשי קצה?
לא מומלץ לחבר אותו למשתמשים ללא מעטפת סינון קפדנית. כרטיס המודל מזהיר מפורשות שאין פה ערבויות בטיחות והוא מיועד למחקר ולסביבות מבוקרות בלבד. האחריות על כל פלט שנוצר נופלת לחלוטין על מי שמריץ אותו.
איך הכי קל להריץ אותו במחשב מקומי?
הדרך הפשוטה ביותר היא להשתמש בגרסה העדכנית של אולמה ולהריץ ישירות את הפקודה המוכנה של היוצרים. אם רוצים שליטה מלאה בפרמטרים והאצת MTP, מריצים אותו דרך llama.cpp מקומפל עם תמיכת CUDA.
איך מריצים
אפשר להריץ אותו מקומית באמצעות אולמה בפקודה אחת פשוטה, או ישירות דרך הגרסאות האחרונות של llama.cpp עם תמיכה בהאצת CUDA. סך הקבצים שוקל 30.0 ג'יגה בייט, כך שצריך כרטיס מסך עם זיכרון וידאו מספק ומעלה אם רוצים לפרוק את כל השכבות לחומרה ולקבל מהירות עבודה סבירה, במיוחד כשמנצלים את מודל הטיוטה הנלווה להאצה.
אם אין לכם חומרה ייעודית מקומית עם כרטיס גרפי מתאים, הניסיון להריץ אותו על מעבד רגיל יספק ביצועים איטיים מאוד. במצב כזה, עדיף לפנות למודל מרוחק דרך API, כל עוד השרת החיצוני מאפשר תוכן ללא סינון.
ollama run hf.co/huihui-ai/Huihui-gemma-4-12B-it-qat-q4_0-unquantized-abliterated-GGUF:Q4_0
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
6 קבצים במאגר, 30.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון המדווח במאגר הוא אפאצ'י 2.0, שמאפשר שימוש חופשי וגם מסחרי, אך הקישור הנלווה מפנה ישירות לתנאי הרישיון המקוריים של גוגל לג'מה. המשמעות היא שאתם כפופים להגבלות השימוש של המודל המקורי, במיוחד בתחום הבטיחות והאחריות החוקית, ואסור להניח שמדובר ברישיון קוד פתוח ללא תנאים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים