GPT
הוספת כלי
Q

Qwen2.5-32B-Instruct-abliterated

קוד פתוח

huihui-aiapache-2.02024-09-29

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • chat

גרסה נטולת סינון למודל של עליבאבא בגודל 33B פרמטרים. היא נועדה למי שצריך מודל חזק שלא מסרב לפקודות או מרצה את המשתמש.

  • 33Bפרמטרים
  • 32,768טוקנים בהקשר
  • 61.0 GBמשקל הקבצים
  • 15,455הורדות בחודש

מה זה

מדובר בעיבוד של המודל המקורי באמצעות טכניקת abliteration, שמטרתה להסיר מנגנוני סירוב וצנזורה שנצרבו לתוכו בזמן האימון להוראות. הבסיס עצמו מגיע עם 64 שכבות וחלון הקשר של 32,768 טוקנים, כך שהוא שומר על היכולות הטכניות של המקור אבל מגיב ישירות בלי הטפות מוסר.

המודל מיועד ליצירת טקסט ושיחה במגוון שפות, כולל אנגלית, סינית, ערבית, צרפתית, גרמנית ועוד. כרטיס המודל לא מציג מבחני ביצועים כמותיים, כך שאין כאן ציונים מספריים להשוות, אבל השינוי העיקרי מול גרסאות רגילות בגודל הזה מתמצה בהיעדר הסירובים.

מתאים ל

  • מחקר על מנגנוני סירוב

    ניתוח התנהגות מודלים שהוסרו מהם חסמי הבטיחות המובנים.

  • כתיבה יצירתית ללא חסימות

    יצירת דיאלוגים מורכבים וסצנות שמודלים רגילים נוטים לסרב להן.

  • בדיקות חוסן ואבטחת תוכן

    בחינת מערכות סינון חיצוניות אל מול פלטים חופשיים מצנזורה.

איפה זה נופל

ההסרה של מנגנוני הבטיחות היא חרב פיפיות. כשהמודל לא מסרב, הוא עלול לייצר תוכן פוגעני, שגוי או רעיל בלי שום בלם פנימי, וכרטיס המודל לא מספק מדדים לגבי היציבות של התשובות אחרי השינוי. בנוסף, עברית אינה מופיעה ברשימת השפות שצוינו במפורש בתיעוד.

שאלות
נפוצות

האם המודל מדבר עברית?

ברשימת השפות הרשמית של הפרויקט עברית לא מוזכרת, ומופיעות שם שפות כמו אנגלית, סינית, צרפתית, ספרדית וערבית. ייתכן שהוא יבין מעט עברית בזכות נתוני אימון כלליים, אך לא כדאי לבנות עליו למשימות בעברית.

מה בדיוק עשו לו בתהליך ה־abliteration?

היוצר השתמש בטכניקה שמזהה את כיווני הסירוב הפנימיים במשקולות המודל ומבטלת אותם. המטרה היא להביא מודל שלא מחזיר הודעות בסגנון של סליחה, איני יכול לסייע בכך.

איך מריצים

כדי להריץ אותו ישירות מתוך ספריית transformers תצטרכו להתמודד עם קבצים בנפח כולל של 61.0 GB בדיוק bfloat16. משקל כזה דורש כרטיס גרפי מקצועי עם זיכרון וידאו גדול מאוד, או פיצול על פני כמה כרטיסים, אחרת המחשב פשוט ייחנק.

מי שרוצה לעבוד מקומית בצורה פשוטה יותר יכול למשוך את הגרסה של היוצר דרך ollama באמצעות הפקודה המוכנה. אם אין לכם שרת ייעודי עם מספיק זיכרון להחזיק 33 מיליארד פרמטרים, פנייה לפתרון ענן מרוחק תהיה זולה ופשוטה בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="huihui-ai/Qwen2.5-32B-Instruct-abliterated")
print(pipe("שלום"))

הקבצים

27 קבצים במאגר, 61.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי והפצה של הקוד והמשקולות, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗