GPT
הוספת כלי
G

GLM-4.6-Derestricted-v3

קוד פתוח

ArliAImit2025-12-02

  • transformers
  • safetensors
  • glm4_moe
  • text-generation
  • abliterated

גרסה נטולת סינונים של GLM-4.6 שמסירה חסימות בלי לפגוע ביכולות החשיבה. המטרה כאן היא לתת מודל ענק עם חלון של 202 אלף טוקנים שלא מסרב לבקשות.

  • 357Bפרמטרים
  • 202,752טוקנים בהקשר
  • 665 GBמשקל הקבצים
  • 2,141הורדות בחודש

מה זה

מדובר במודל MoE עצום שמכיל 357 מיליארד פרמטרים. המפתחים לקחו את הבסיס של GLM-4.6 והעבירו אותו תהליך שנקרא norm-preserving biprojected abliteration. במקום לחתוך את וקטור הסירוב בצורה גסה שפוגעת במשקלים ומייצרת הזיות, השיטה הזו מפרקת את המשקלים לגודל וכיוון, מנקה רק את רכיב הסירוב, ומחזירה את הגודל המקורי. התוצאה היא מודל שלא חוסם פניות, בלי לשלם על זה בירידה ביכולות הלוגיות.

הבסיס המקורי מביא שיפורים ניכרים על פני הדור הקודם בכתיבת קוד, שימוש בכלים וסוכנים עצמאיים, לצד חלון הקשר ענק שמגיע ל־202,752 טוקנים. היוצרים טוענים שהסרת הצורך לבזבז כוח חישוב על צנזורה עצמית עשויה אפילו לשפר את ההסקה ולחשוף ידע שהיה חסום.

מתאים ל

  • סוכני פיתוח קוד

    שילוב בכלי פיתוח עצמאיים הדורשים חלון הקשר ענקי, הבנה עמוקה בקוד וחופש מלא מסירובים שווא בעבודה עם סקריפטים.

  • מחקר אבטחה וסייבר

    ניתוח חולשות ובדיקות חדירה שבהן מודלים מסחריים רגילים נוטים לסרב לענות בגלל מילות מפתח רגישות.

  • משחקי תפקידים וכתיבה

    יצירת טקסט ודיאלוגים מורכבים ללא התערבות של מנגנוני צנזורה שקוטעים את העלילה.

איפה זה נופל

הורדת מנגנוני הבטיחות אומרת שהמודל פולט כל מה שמבקשים ממנו בלי פילטר. אם המערכת שלכם חשופה למשתמשי קצה, כל האחריות לסינון תוכן פוגעני, מסוכן או שגוי יושבת אך ורק עליכם. מעבר לזה, להריץ 357 מיליארד פרמטרים בחלון הקשר של מאתיים אלף טוקנים זה סיוט של זמני תגובה ועלויות חישוב, אלא אם יש לכם חומרה מהירה במיוחד.

שאלות
נפוצות

האם המודל מאבד חוכמה בגלל הסרת הסירובים?

היוצרים השתמשו בטכניקה שמבודדת את כיוון הסירוב ושומרת על עוצמת המשקלים המקורית. לפי התיעוד, התהליך הזה מונע את הפגיעה בלוגיקה שמאפיינת מודלים שעברו הסרת צנזורה פשוטה, ואף עשוי לחשוף ידע שהיה חסום קודם.

אפשר להריץ אותו על תחנת עבודה עם כרטיס RTX בודד?

לא. המודל שוקל 665 גיגה בייט בפורמט הנוכחי ודורש זיכרון וידאו עצום של מאות גיגה בייטים רק כדי לעלות. גם בגרסאות מכווצות בכבדות לא תוכלו להריץ 357 מיליארד פרמטרים על מחשב יחיד סטנדרטי.

איך מריצים

במשקל של 665 גיגה בייט בדיוק מלא, אין שום סיכוי להריץ את הדבר הזה על חומרה ביתית או שרת בודד פשוט. צריך אשכול שרתים רציני עם כמה כרטיסי שרת של 80 גיגה בייט כדי לטעון אותו לזיכרון, עוד לפני שמדברים על טעינת הקשר ארוך.

אם אתם לא מחזיקים תשתית ענן ייעודית וכבדה, כדאי לחפש את גרסאות הקוונטיזציה שהועלו במקביל, כמו גרסת שמונה ביט או ארבעה ביט, או פשוט לצרוך אותו דרך API שמארח אותו אם קיים.

from transformers import pipeline

pipe = pipeline("text-generation", model="ArliAI/GLM-4.6-Derestricted-v3")
print(pipe("שלום"))

הקבצים

101 קבצים במאגר, 665 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל שוחרר תחת רישיון MIT. זה נותן חופש כמעט מוחלט, כולל שימוש מסחרי, שינוי קוד, הפצה ושילוב במוצרים סגורים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗