Qwen2.5-7B-Instruct-abliterated-v2

מה זה

מדובר במודל טקסט של huihui-ai שמבוסס על Qwen2.5-7B-Instruct, אך עבר תהליך שנקרא abliteration שנועד לנטרל את מנגנוני הסירוב והצנזורה הפנימיים שלו. הוא מיועד ליצירת טקסט ומבין שפות מרכזיות כמו אנגלית, סינית, רוסית, צרפתית וגרמנית, אם כי עברית אינה מופיעה ברשימת השפות הרשמית שלו בכרטיס.

במדדים שפורסמו, היכולת שלו לעקוב אחרי הוראות ב־IF_Eval עומדת על 77.82, מעט מעל מודל המקור, וב־GPQA הוא מקבל 32.17. עם זאת, במבחני ידע וחשיבה כלליים כמו MMLU Pro ו־BBH הוא חלש מעט מהמקור, מה שמראה שההתערבות במשקולות גבתה מחיר קל ביכולות האנליטיות שלו.

מתאים ל

• כתיבה יצירתית ללא סירובים

  מתאים ליוצרים שמחפשים עלילות מורכבות בלי שהמודל יחסום תיאורי מתח או קונפליקטים.

• מחקר על עקיפת מגבלות

  משמש לבדיקת עמידות של מנגנוני הגנה ואבטחת תוכן מול מודלים שהוסרו מהם חסמים.

• מענה טכני למשימות מורכבות

  מבצע ניתוח של טקסטים רגישים שמעלים בטעות התראות שווא במודלים מסחריים רגילים.

איפה זה נופל

המחיר של הסרת הסירובים בולט בעיקר ב־TruthfulQA, שם הציון צנח מ־62.46 במקור ל־57.81 בלבד בגרסה הזו. הוא פחות אמין, נוטה יותר להזיות, ואיבד חלק מהיכולת להבדיל בין עובדות לטעויות נפוצות.

מעבר לכך, אין לו מעצורי בטיחות כלל, כך שלא הייתי משלב אותו במוצר שפונה ישירות ללקוחות קצה בלי שכבת סינון נפרדת משלכם. כמו כן, עברית לא נבדקה ולא מוגדרת כשפה נתמכת.

איך מריצים

כדי להריץ את המודל בדיוק המקורי שלו, bfloat16, תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון, שכן המשקולות עצמן תופסות 14.2 גיגה ב־17 קבצים. הטעינה נעשית ישירות דרך ספריית transformers הרגילה בפייתון.

אם אין לכם חומרה ייעודית כזו בענן או במחשב מקומי, להחזיק שרת בשבילו יהיה יקר מדי. במצב כזה, עדיף להשתמש במודל סגור דרך API אם אתם לא מחויבים דווקא לגרסה לא מצונזרת שרצה אצלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00003-of-00004.safetensors4.3 GB
• model-00004-of-00004.safetensors1.1 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json28.1 KB
• LICENSE11.3 KB
• tokenizer_config.json7.5 KB
• README.md4.4 KB
• .gitattributes1.5 KB
• eval.sh1.2 KB
• config.json690 B
• added_tokens.json629 B
• special_tokens_map.json521 B
• generation_config.json257 B

הרישיון

המודל מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקולות והפצה מחודשת, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗