GPT
הוספת כלי
Q

Qwen2.5-72B-Instruct-abliterated

קוד פתוח

huihui-aiother2024-10-26

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • chat

גרסה נטולת סינונים של אחד ממודלי הקוד הפתוח החזקים בעולם. מיועדת למי שצריך תשובות ישירות בלי לקבל סירובים או הטפות מוסר מהמערכת.

  • 73Bפרמטרים
  • 32,768טוקנים בהקשר
  • 135 GBמשקל הקבצים
  • 2,483הורדות בחודש

מה זה

מדובר בהתאמה ישירה של דגם הדגל מסדרת Qwen2.5 בגודל 73 מיליארד פרמטרים, שעבר תהליך הסרת סירובים. המטרה כאן היא לייצר מודל שיענה על כל הנחיה בלי לחסום בקשות שנתפסות כרגישות אצל מודלים רגילים, תוך שמירה על היכולות הגבוהות של המקור בניתוח וביצירת טקסט.

היוצרים מגדירים את העבודה הזו כהוכחת היתכנות גולמית שבוצעה באמצעות כלי הסרת סירובים מבוסס שנאים, בלי שימוש בספריות ייעודיות לניתוח פנימי של רשתות. מעבר להסרת מגבלות הבטיחות, המודל שומר על חלון הקשר של 32,768 טוקנים ותומך בשפות המקוריות של הדגם, הכוללות אנגלית, סינית ועוד שש שפות אירופיות מרכזיות.

מתאים ל

  • בדיקות חוסן ואבטחה

    זיהוי פרצות אבטחה וכתיבת תרחישי תקיפה במערכות מידע בלי שהמודל יסרב לייצר את המידע.

  • מחקר על התנהגות מודלים

    בחינה של השפעת הסרת הסירובים על איכות התשובות ועל רמת ההיגיון הפנימי של הרשת.

  • כתיבה יצירתית ללא הגבלות

    יצירת תכנים ודיאלוגים מורכבים שעוסקים בנושאים קשים בלי להיתקל בחסימות תוכן אוטומטיות.

איפה זה נופל

היוצר מציין בעצמו שמדובר ביישום גולמי וראשוני. בתהליכים כאלה של הסרת סירובים יש סיכון ממשי לפגיעה ביכולות ההיגיון והדיוק של המודל, או לקבלת תגובות לא יציבות בנושאים מורכבים. בנוסף, עברית לא מופיעה ברשימת השפות הנתמכות רשמית, והיעדר מנגנוני סינון מחייב אתכם לבנות שכבת הגנה משלכם כדי למנוע פליטת תוכן רעיל או פוגעני במוצר.

שאלות
נפוצות

האם המודל תומך בעברית בצורה שוטפת?

עברית אינה מופיעה ברשימת השפות המדווחות של המודל, שכוללת שמונה שפות אחרות בלבד. הוא עשוי לייצר עברית מסוימת בגלל בסיס הנתונים הכללי של הדגם המקורי, אך האיכות והדיוק לא מובטחים.

מה המשמעות של מודל נטול סירובים?

המודל עבר התערבות במשקלים כדי למנוע ממנו לסרב לבקשות של משתמשים מטעמי בטיחות ותוכן. הוא יענה על שאלות שדגמים רגילים חוסמים, אך הדבר דורש זהירות כפולה כי אין לו שום מעצורים פנימיים.

איך אפשר לנסות אותו בלי להוריד את כל המשקל?

היוצרים העלו גרסה מותאמת ישירות לפלטפורמת אולמה. אפשר להוריד ולהריץ אותה בפקודה אחת פשוטה על מחשב עם זיכרון מתאים, בלי להתעסק עם חלוקת 43 הקבצים המקוריים.

איך מריצים

כדי להריץ את המודל המקורי במשקל מלא של 135 ג'יגה בייט תצטרכו שרת עם לפחות שני כרטיסי A100 או H100 של 80 ג'יגה בייט כל אחד, רק כדי להחזיק את הפרמטרים בזיכרון. מי שמחפש הרצה פשוטה יותר בסביבה מקומית יכול להשתמש בגרסת האולמה הרשמית שהיוצרים פרסמו תחת השם huihui_ai/qwen2.5-abliterate:72b.

אם אין לכם תשתית כבדה או גישה לחומרה ייעודית בענן, הרצה עצמאית תהיה יקרה ומסורבלת מאוד. במקרה כזה עדיף לחפש ספקי צד שלישי שמארחים את המודל הזה או מקבילים לו דרך ממשק פניות מוכן, במקום להרים שרת יקר מאפס.

from transformers import pipeline

pipe = pipeline("text-generation", model="huihui-ai/Qwen2.5-72B-Instruct-abliterated")
print(pipe("שלום"))

הקבצים

43 קבצים במאגר, 135 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other ולא מצוין רישיון קוד פתוח מוכר. המשמעות היא שאין הרשאה ברורה ומסודרת לשימוש מסחרי, ואי אפשר לדעת אילו זכויות יוצרים תקפות כאן. שילוב של המודל הזה במוצר מסחרי חושף אתכם לסיכון משפטי, ומומלץ לבדוק את תנאי המקור של המודל המקורי לפני שמתקדמים.

הרישיון המלא בעמוד המודל ↗