GPT
Q

Qwen2.5-7B-Instruct-Uncensored

קוד פתוח

Orion-zhengpl-3.02024-09-26

  • safetensors
  • qwen2
  • qwen
  • uncensored
  • text-generation

גרסה פתוחה של קוון שלא מסרבת לענות על שאלות רגישות. מי שבוחר בה מחפש מודל בגודל 7.6 מיליארד פרמטרים שלא נחסם במקומות שבהם מודלים רגילים עוצרים.

  • 7.6Bפרמטרים
  • 32,768טוקנים בהקשר
  • 14.2 GBמשקל הקבצים
  • 4,105הורדות בחודש

מה זה

הבסיס כאן הוא מודל ההוראות של קוון בגודל שבעה מיליארד פרמטרים, שעבר אימון ייעודי להסרת מנגנוני הסירוב באמצעות שילוב של כוונון עדין ואופטימיזציית העדפות ישירה. היוצר השתמש במאגרי נתונים שמיועדים להרגיל את המערכת לא לסרב לבקשות של המשתמש, כולל דאטה סטים רעילים באנגלית ובסינית, במטרה לשמור על יכולות השיחה המקוריות בלי מעצורים.

במדדי הביצועים הרשמיים התמונה ברורה. במבחן הציות להוראות הוא מקבל ציון סביר של 72.04 נקודות, כלומר הוא עדיין מבין פורמטים ומבנה של בקשות. מצד שני, במבחני היגיון עמוק וידע מורכב הוא מציג תוצאות חלשות מאוד, כמו 38.07 נקודות במבחן הידע המקצועי וציון נמוך במיוחד של 1.36 בלבד במתמטיקה מתקדמת.

מתאים ל

  • כתיבה יצירתית ללא סינון

    טוב לטקסטים ספרותיים חופשיים שבהם מודלים מסחריים נוטים לעצור ולהטיף מוסר.

  • בדיקות חדירות וחקר אבטחה

    מאפשר לייצר תרחישים עוינים ובדיקות סימולציה בלי שהמודל יחסום את השאילתה.

  • משחקי תפקידים מותאמים

    משמש בסיס לדמויות שלא כבולות להגבלות תוכן תאגידיות טיפוסיות.

איפה זה נופל

היוצר עצמו מבהיר שהמודל עדיין נכשל ביצירת תיאורים מפורטים בתרחישים קיצוניים מסוימים, כנראה בגלל סינון שנעשה עוד בשלב האימון המקורי של קוון. מעבר לזה, תוצאות המדידה חושפות חולשה כבדה בחשיבה אנליטית, שאלות מורכבות ופתרון בעיות, כך שהוא לא מתאים למשימות הנדסיות, קוד מורכב או חישובים. עברית גם אינה מופיעה ברשימת השפות הנתמכות שסומנו בכרטיס.

שאלות
נפוצות

האם המודל תומך בעברית?

כרטיס המודל לא מציין עברית ברשימת השפות הנתמכות, שכוללת בעיקר שפות אירופיות, סינית, ערבית ומספר שפות אסייתיות. ייתכן שהוא יבין מילים בודדות מהאימון המקורי של קוון, אבל לא הייתי בונה עליו לפלט עברי שוטף.

האם אפשר להשתמש בו במוצר מסחרי סגור?

לא בלי לחשוף את הקוד שלכם. רישיון ג'י פי אל 3.0 דורש מכל מי שמפיץ מוצר המבוסס עליו לפתוח את כלל הקוד תחת אותו רישיון.

האם הוא באמת מייצר כל תוכן בלי יוצא מן הכלל?

לא. המפתח מציין במפורש שהמודל עדיין נכשל בתיאור תרחישים קיצוניים, כתוצאה מסינונים עמוקים שבוצעו עוד בשלב אימון הבסיס של החברה המקורית.

איך מריצים

המשקל הכולל של הקבצים עומד על 14.2 גיגה בייט בפורמט בי פלוט 16. כדי להריץ אותו בלי כימות צריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון גרפי, תלוי כמה מאורכו המלא של חלון ההקשר, שמגיע עד 32 אלף טוקנים, תרצו לנצל בפועל.

אם יש לכם כרטיס צרכני עם שמונה או שנים עשר גיגה, תצטרכו לכמת אותו למשקלים קטנים יותר או לפנות לפתרונות אירוח חיצוניים. הרצה מקומית משתלמת בעיקר כשאתם חייבים שליטה מוחלטת במידע או רוצים לעקוף מסנני תוכן שספקי ענן אוכפים כברירת מחדל.

pip install -U huggingface_hub
hf download Orion-zhen/Qwen2.5-7B-Instruct-Uncensored

הרישיון

המודל שוחרר תחת רישיון ג'י פי אל 3.0. מדובר ברישיון קוד פתוח עם דרישת שיתוף זהה, מה שאומר שאם אתם משלבים אותו ומפיצים את התוכנה שלכם, אתם מחויבים לשחרר את קוד המקור המלא של המוצר תחת אותו רישיון בדיוק.

הרישיון המלא בעמוד המודל ↗