GPT
הוספת כלי
D

DeepSeek-R1-Distill-Qwen-32B-abliterated

קוד פתוח

huihui-aiרישיון לא דווח2025-01-22

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • abliterated

גרסה נטולת סינונים של מודל ההסקה מבית דיפסיק, שמיועדת לעקוף סירובים מובנים. היא פונה למי שרוצה חשיבה אנליטית מעמיקה בלי חסימות תוכן שמונעות מענה.

  • 33Bפרמטרים
  • 131,072טוקנים בהקשר
  • 61.0 GBמשקל הקבצים
  • 838הורדות בחודש

מה זה

מדובר בעיבוד מבוסס abliteration על גבי הזיכוך של DeepSeek R1 בארכיטקטורת Qwen של 33 מיליארד פרמטרים. המטרה העיקרית כאן היא ביטול מנגנוני הסירוב הרגילים, כך שהרשת עונה על שאלות שהמקור היה פוסל או מתחמק מהן.

היוצר מגדיר את העבודה כהוכחת היתכנות גולמית שנעשתה באמצעות כלי בשם remove-refusals-with-transformers, ללא שימוש בספריית TransformerLens. בניגוד לגרסת המקור המסודרת, כאן שינו את המשקולות כדי להחליש את שכבות הצנזורה בלי לאמן את המודל מחדש מאפס.

בכרטיס אין מדדי ביצועים רשמיים, מבחני דיוק או השוואות בנצ'מרק לעומת מודל הבסיס. היכולת המרכזית שנשמרת כאן היא תהליך ההסקה הפנימי בתוך תגיות ייעודיות, אך היעדר נתונים מספריים מקשה לדעת כמה מאיכות החישוב המקורית שרדה את ההתערבות הזו במשקולות.

מתאים ל

  • מחקר על מנגנוני סירוב

    התשתית מתאימה לבדיקה טכנית של הסרת הגנות מודלים והשפעת השינוי על איכות הפלט.

  • מענה על נושאים רגישים

    הוא מיועד לתת תשובות ישירות במקרים שבהם מודל הבסיס המקורי מסרב או קוטע את השיחה.

  • הסקה עם שרשרת חשיבה

    הארכיטקטורה שומרת על יכולות הפירוק הלוגי של דיפסיק לצד חופש מוחלט מתוכן חסום.

איפה זה נופל

היוצר מציין בעצמו שמדובר במימוש בסיסי וגולמי מאוד. לפעמים תהליך החשיבה עם תגית הייעודית נעלם לגמרי, או שהמערכת ממשיכה לסרב למרות השינוי, ובמקרים כאלה הכרטיס מציע לתת לו דוגמה מקדימה כדי להחזיר אותו למסלול. מעבר לכך, התערבות פולשנית כזו במשקולות עלולה לשבור יכולות הסקה עדינות או לגרום להזיות, ואי אפשר להסתמך עליה בפרודקשן בלי בדיקות מקיפות.

שאלות
נפוצות

מה עושים כשהוא מסרב לענות למרות הסרת החסימות?

בכרטיס המודל מוסבר שאם הוא מסרב או מדלג על שלב החשיבה, צריך לספק לו דוגמה מקדימה בפרומפט כדי לכוון אותו. לפעמים דוגמה קצרה מיישרת את ההתנהגות שלו ומאפשרת לו להמשיך לייצר פלט כרגיל.

איך אפשר להריץ אותו בצורה הכי מהירה?

הדרך הפשוטה ביותר שמציע המפתח היא שימוש בפקודת ollama run עם הנתיב המותאם שהוכן עבור 32B. זה חוסך את הצורך לטעון ידנית 23 קבצים שונים בספריית transformers.

איך מריצים

בשביל להוריד ולהריץ את הקבצים המקוריים ששוקלים 61 גיגה בייט בדיוק bfloat16, דרוש שרת עם כרטיסי מסך מקצועיים שמחזיקים לפחות 70 או 80 גיגה זיכרון וידאו פנוי. מי שרוצה לחסוך בהגדרות יכול להפעיל אותו בפקודה אחת דרך ollama עם התגית המוכנה שהיוצר העלה.

אם אין לכם חומרה ייעודית כבדה מקומית, עדיף להשתמש בפתרון ענן או בממשק חיצוני. גודל כזה ידרוש חלוקה בין כרטיסים או הרצה בכימות כדי לרוץ על מחשב אישי.

from transformers import pipeline

pipe = pipeline("text-generation", model="huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 61.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

היוצר לא דיווח על רישיון כלשהו בעמוד המודל. מצב כזה יוצר סיכון משפטי ברור, כי אין אישור רשמי לשימוש מסחרי, הפצה מחדש או הטמעה במוצר מול לקוחות. חברות ועסקים צריכים להיזהר מאוד לפני שמכניסים קוד ומשקולות ללא הגדרת זכויות שימוש ברורה.

הרישיון המלא בעמוד המודל ↗