Huihui-gpt-oss-20b-BF16-abliterated

מה זה

מדובר בעיבוד של מודל המקור unsloth/gpt-oss-20b-BF16, שעבר תהליך הסרת מנגנוני סירוב באמצעות שיטת abliteration. המטרה כאן היא לבטל את הנטייה המובנית של המודל לסרב לבקשות של משתמשים. הוא שומר על ארכיטקטורת 24 שכבות ותומך בחלון הקשר של 131,072 טוקנים, שמאפשר להזין מסמכים ארוכים או שיחות מתמשכות בלי לאבד מידע.

בניגוד למודלים סטנדרטיים בקטגוריית עשרים מיליארד הפרמטרים שכוללים שכבות יישור בטיחות כבדות, כאן הסינון הוסר ישירות ממשקולות המודל. הדף לא מציג מבחני ביצועים כמותיים או ציוני בנצ'מרק, כך שאי אפשר לדעת אם התהליך פגע ביכולות ההיגיון, הקידוד או איכות הטקסט הכללית בהשוואה למודל הבסיס.

היוצרים כבר שחררו גרסה שנייה לאותו מודל, מה שמעיד על כך שהגרסה הזו עשויה להיות בוסרית. היא מתאימה בעיקר למי שמחפש מודל פתוח שמגיב לכל קלט, אבל דורשת בדיקה עצמאית כדי לוודא שאיכות הפלט לא נשחקה.

מתאים ל

• מחקר על מנגנוני בטיחות

  בדיקת ההשפעה של הסרת סירובים ברמת המשקולות על אופי הפלט וההזיות.

• ניתוח טקסטים לא מצונזרים

  עיבוד מסמכים משפטיים או רפואיים שמודלים רגילים מסרבים לגעת בהם.

• הרצה מקומית ב־Ollama

  הפעלת מודל פתוח לשימוש פנימי במחשב מקומי באמצעות קובץ מכווץ.

איפה זה נופל

ההסרה של מנגנוני הסירוב משאירה את המודל ללא הגנות בטיחות כלל, והיוצרים מציינים במפורש שהוא עלול לייצר תוכן פוגעני, רגיש או לא חוקי. הוא אינו מומלץ לשימוש ישיר מול לקוחות קצה או בסביבות ציבוריות ללא מנגנון סינון ובקרה חיצוני שאתם מקימים בעצמכם. בנוסף, חוסר במבחני ביצועים רשמיים מחייב אתכם לבדוק בעצמכם האם תהליך השינוי גרם להזיות או ירידה ביכולת הניתוח.

אותה משפחה

Huihui-gpt-oss-20b-BF16-abliterated יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ את הגרסה המלאה בפורמט bfloat16 תצטרכו להוריד 125 גיגה בייט של קבצים, מה שדורש לפחות שני כרטיסי מסך חזקים כמו A100 או H100 רק כדי לטעון אותו לזיכרון ה־VRAM. ההרצה מתבצעת ישירות דרך ספריית transformers.

אם אין לכם שרת ייעודי, הדרך המעשית היא להשתמש בגרסת GGUF מכווצת דרך llama.cpp או באמצעות ollama בגרסה 0.11.8 ומעלה עם הפקודה ollama run huihui_ai/gpt-oss-abliterated. אם אתם צריכים רק גישה מהירה בלי לתחזק שרתים מקומיים כבדים, עדיף להשתמש ב־API מנוהל של מודלים דומים.

ollama run hf.co/huihui-ai/Huihui-gpt-oss-20b-BF16-abliterated:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

22 קבצים במאגר, 125 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• GGUF/ggml-model-f16.gguf41.9 GB
• GGUF/ggml-model-q8_0.gguf22.3 GB
• GGUF/ggml-model-Q4_K_M.gguf15.8 GB
• GGUF/ggml-model-Q3_K_M.gguf12.9 GB
• model-00005-of-00009.safetensors4.9 GB
• model-00006-of-00009.safetensors4.9 GB
• model-00007-of-00009.safetensors4.9 GB
• model-00008-of-00009.safetensors4.9 GB
• model-00004-of-00009.safetensors4.9 GB
• model-00002-of-00009.safetensors4.9 GB
• model-00003-of-00009.safetensors4.9 GB
• model-00001-of-00009.safetensors4.5 GB
• model-00009-of-00009.safetensors2.8 GB
• tokenizer.json27.9 MB
• model.safetensors.index.json34.1 KB
• chat_template.jinja15.4 KB
• README.md9.2 KB
• tokenizer_config.json4.4 KB
• .gitattributes1.8 KB
• config.json1.7 KB
• special_tokens_map.json463 B
• generation_config.json175 B

הרישיון

המודל מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הקוד והמשקולות והפצה שלהם, כל עוד שומרים על הודעת זכויות היוצרים המקורית וכתב הוויתור. אתם יכולים לשלב אותו במוצר שלכם, אבל האחריות המשפטית על הפלטים חלה עליכם בלבד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗