GPT
הוספת כלי
G

gpt-oss-20b-heretic

קוד פתוח

p-e-wapache-2.02025-11-16

  • transformers
  • safetensors
  • gpt_oss
  • text-generation
  • vllm

גרסה שעברה תהליך הסרת צנזורה למודל הפתוח של OpenAI, שנועדה לענות על בקשות שהמקור חוסם ומספקת שרשרת חשיבה מלאה.

  • 21Bפרמטרים
  • 131,072טוקנים בהקשר
  • 39.0 GBמשקל הקבצים
  • 1,035הורדות בחודש

מה זה

הפרויקט הזה לוקח את gpt-oss-20b המקורי ומפעיל עליו תהליך אבלטרציה באמצעות Heretic כדי לנטרל מנגנוני סירוב. מדובר במודל עם 21 מיליארד פרמטרים כוללים, מתוכם 3.6 מיליארד פעילים בכל רגע, וחלון הקשר של 131,072 טוקנים שתומך בחשיבה מובנית, הרצת קוד פייתון וקריאות לפונקציות.

ההבדל המרכזי מול המקור הוא בירידה ישירה במחסומי הסירוב. במבחן הבדיקה המדווח, המודל המקורי סירב למאה מתוך מאה בקשות שנבדקו, בעוד הגרסה הזו סירבה ל־58 בלבד, תוך שמירה על מרחק KL של 0.96 מהתנהגות הבסיס. זה אומר שהוא מוכן לענות על דברים שהמקור חוסם לגמרי, אבל הוא עדיין רחוק מלהיות פתוח לכל בקשה.

מתאים ל

  • חילוץ מידע מפרומפטים רגישים

    מתאים לטקסטים שמפעילים חסימות שווא במודלים רגילים, בזכות צמצום שיעור הסירובים מ־100 ל־58 במבחן.

  • סוכני קוד ואוטומציה

    משלב 3.6 מיליארד פרמטרים פעילים עם תמיכה מובנית בקריאת פונקציות והרצת פייתון מקומית.

  • ניתוח מסמכים ארוכים

    חלון הקשר של 131,072 טוקנים מאפשר להזין קוד או תיעוד נרחב בלי לחתוך מידע בדרך.

איפה זה נופל

ההסרה של הצנזורה חלקית בלבד. במבחן שנערך הוא עדיין סירב ל־58 אחוז מהפניות, כך שאם אתם בונים על מודל שיענה לכל פרומפט בלי מחסומים בכלל, זה לא המצב כאן. בנוסף, חובה להשתמש במבנה התשובות harmony של OpenAI, ואם תשלחו פרומפטים ישירות בלי התבנית הזו הוא פשוט יחזיר פלט משובש ולא יעבוד תקין.

שאלות
נפוצות

האם המודל נקי לחלוטין מסירובים?

לא. לפי הנתונים בכרטיס המודל, מתוך מאה בדיקות סירוב הוא עדיין סירב ל־58. הוא פתוח משמעותית מהמקור שסירב לכולן, אבל עדיין כולל מגבלות פנימיות.

האם אפשר לשלוח אליו טקסט רגיל דרך transformers בלי הגדרות מיוחדות?

המודל דורש עבודה עם פורמט harmony של OpenAI כדי לייצר תשובות תקינות. שימוש ישיר בשיטת יצירת טקסט בלי תבנית הצ'אט המתאימה יגרום לשגיאות בפלט.

איך מריצים

כדי להריץ אותו דרך transformers צריך להוריד 39 גיגה בייט של משקלים ב־18 קבצים, ולוודא שעובדים עם פורמט harmony שהארכיטקטורה דורשת. המשקלים המקוריים תוכננו לעבודה עם קוונטיזציית MXFP4 שמאפשרת הרצה בתוך זיכרון של 16 גיגה בייט, כך שכרטיס מסך ביתי חזק או סביבת vLLM ייעודית יספיקו בהחלט.

אם אין לכם כרטיס עם מספיק זיכרון וידאו להחזיק את הקבצים הגולמיים, תצטרכו להשתמש בפתרונות כמו Ollama או LM Studio עם גרסאות מכווצות, או פשוט לפנות למודל דרך שרת מרוחק. הרצה מקומית שווה את המאמץ רק אם אתם חייבים את היכולת לעקוף את הסירובים של המקור או זקוקים לפרטיות מוחלטת של הקלט.

from transformers import pipeline

pipe = pipeline("text-generation", model="p-e-w/gpt-oss-20b-heretic")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 39.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט משוחרר תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לארח אותו או להטמיע אותו במוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים וכתב הוויתור על האחריות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗