GPT
הוספת כלי
D

DeepSeek-V4-Flash-0731-Abliterated-FP8

קוד פתוח

apeterssonmit2026-07-31

  • transformers
  • safetensors
  • deepseek_v4
  • text-generation
  • deepseek-v4

גרסה שעברה עריכת משקלים כדי לנטרל מנגנוני סירוב מובנים, עם הקשר של מיליון טוקנים. מתאימה למי שצריך מודל ענק שלא עוצר על תוכן רגיש.

  • 304Bפרמטרים
  • 1,048,576טוקנים בהקשר
  • 155 GBמשקל הקבצים
  • 15,091הורדות בחודש

מה זה

מדובר בנגזרת של DeepSeek-V4-Flash שבה בוצע שינוי ממוקד ב־36 טנזורים של שכבות ה־attention, במטרה למחוק את כיוון הסירוב של המודל המקורי. לא אימנו כאן את המודל מחדש עם גרדיאנטים ולא דחסו אותו, אלא התערבו ישירות בייצוג הפנימי שלו תוך שמירה על דיוק FP8 מעורב מקורי. המודל שומר על הארכיטקטורה של 304 מיליארד פרמטרים ועל חלון ההקשר המלא.

בבדיקות התנהגות שנעשו על נגזרת מכווצת שלו, נרשמו אפס סירובים קשיחים במבחני UncensorBench ו־XSTest, ואפס סירובי-יתר על פרומפטים תמימים. עם זאת, היוצר מצהיר בפירוש שהבדיקות לא רצו ישירות על קובצי ה־FP8 האלה ושלא נבדק שופט StrongREJECT רשמי, כך שהתוצאות האלו הן אינדיקציה כללית בלבד ולא מדידה מחייבת של המשקלים האלה.

מתאים ל

  • מחקר על מנגנוני סירוב

    מאפשר לבחון איך הסרת וקטור הסירוב משפיעה על התנהגות מודל ענק ללא מעצורים מובנים.

  • ניתוח מסמכים רגישים

    מתאים לעיבוד טקסטים ארוכים בנושאים שעלולים להפעיל מסנני בטיחות סטנדרטיים.

  • אוטומציה ללא סירובי סרק

    טוב לפייפליינים שבהם סירוב שגוי של המודל תוקע תהליך עיבוד שלם.

איפה זה נופל

עריכת משקלים מסוג abliteration עלולה לפגוע ביכולות הכלליות ובדיוק של המודל מעבר לביטול הסירובים. הכרטיס מדגיש שלא נעשו מבחני יכולת כלליים, ולכן אין ערובה שהוא שומר על רמת ההיגיון או הדיוק העובדתי של המודל המקורי. המודל גם לא מבטיח ציות מוחלט או סגנון מענה אחיד, ופרומפט אחד של פרטיות עדיין הפעיל זיהוי סירוב מקומי. חובה לבדוק אותו עצמאית במשימות שלכם לפני שסומכים עליו במערכת אמיתית.

שאלות
נפוצות

האם המודל הזה לא יסרב לשום בקשה לעולם?

לא. היוצר מבהיר שהמודל אינו מוגדר כלא מצונזר באופן גורף. נטרלו כאן כיוון סירוב מרכזי ספציפי, אבל התנהגות המודל עדיין עשויה להשתנות ותלויה בפרומפט.

אפשר להריץ אותו על מחשב פיתוח רגיל?

ממש לא. הקבצים שוקלים 155 גיגה-בייט והמודל מכיל 304 מיליארד פרמטרים, כך שדרושה תשתית שרתים רצינית עם זיכרון גרפי עצום רק כדי לטעון אותו.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־155 גיגה-בייט שמחולקים ל־76 חלקים. כדי לטעון מודל בגודל 304 מיליארד פרמטרים בפורמט הזה, צריך שרת ייעודי עם כמה כרטיסי GPU חזקים בעלי זיכרון VRAM מצטבר של מאות גיגה-בייט, במיוחד אם רוצים לנצל חלק מההקשר הארוך.

אם אין לכם תשתית כזו בענן או במעבדה מקומית, אין טעם לנסות להרים את זה לבד. במקרה כזה עדיף לחפש ספקי API שמגישים את המודל או להשתמש בגרסאות מכווצות בכבדות שמותאמות לחומרה צנועה יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="apetersson/DeepSeek-V4-Flash-0731-Abliterated-FP8")
print(pipe("שלום"))

הקבצים

76 קבצים במאגר, 155 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון MIT, בדיוק כמו פרויקט המקור והקוד ששימש לשינוי המשקלים. הרישיון מתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלות, כל עוד שומרים על הודעת זכויות היוצרים והקרדיט למפתחים המקוריים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗