GPT
הוספת כלי
W

WizardLM-30B-Uncensored

קוד פתוח

QuixiAIother2023-05-22

  • transformers
  • pytorch
  • llama
  • text-generation
  • uncensored

גרסה של מודל 30B שאומנה ללא סינונים מוסריים מובנים כדי לתת בסיס נקי להוראות. מתאים למי שרוצה שליטה מלאה בתשובות בלי התחסדות מובנית של המערכת.

  • 2,048טוקנים בהקשר
  • 60.6 GBמשקל הקבצים
  • 188הורדות בחודש
  • 146לייקים

מה זה

מדובר באימון של WizardLM על ארכיטקטורת Llama שבו נוקו מהדאטה תשובות שכללו הטפה מוסרית או ישור קו כפוי. המטרה כאן היא לתת לכם נקודת פתיחה גולמית, כך שאם אתם רוצים להוסיף מגבלות, תעשו את זה בעצמכם באמצעות שכבות LoRA ייעודיות ולא תסמכו על מה שהיצרן החליט לצנזר.

במבחני הביצועים הוא מציג תמונה מעורבת. הוא חזק בהבנת שפה והשלמת טקסט עם 82.93 ב־HellaSwag ו־74.35 ב־Winogrande, אבל מתרסק לגמרי כשזה מגיע לחשבון עם 12.89 בלבד ב־GSM8K. הממוצע הכללי שלו נע בין 52.32 ל־56.46 במבחני הלוח המוביל, מה שאומר שהוא סביר למשימות טקסט כלליות אבל ממש לא מבריק בחשיבה כמותית מורכבת.

מתאים ל

  • אימון שכבות יישור עצמאיות

    בסיס נקי בלי התערבות מוקדמת, שמתאים למי שבונה שכבת LoRA עם כללים משלו.

  • יצירת טקסט יצירתי ללא חסימות

    כתיבה חופשית שדורשת התמודדות עם נושאים שמודלים רגילים מסרבים לייצר.

  • מחקר על מודלים ללא הגנות

    בדיקת התנהגות של מודל שפה גדול שלא עבר ישור מוסרי מובנה בדאטה.

איפה זה נופל

המודל מגיע ללא מעצורים ומייצר כל טקסט שתבקשו, והמפתח מבהיר שהאחריות על התוצרים היא עליכם בדיוק כמו בשימוש בסכין או רכב. מעבר לסכנת פליטת תוכן בעייתי, חלון ההקשר שלו קצר ועומד על 2,048 טוקנים בלבד, מה שמגביל מאוד ניתוח מסמכים ארוכים. תוצאת ה־12.89 ב־GSM8K מוכיחה שאסור להסתמך עליו בשום צורה למשימות מתמטיות.

שאלות
נפוצות

האם המודל יסרב לענות על שאלות רגישות?

לא. התשובות שכללו סירוב או הטפה הוסרו מנתוני האימון שלו. הוא יענה על מה שתבקשו, ולכן כל האחריות לסינון התוכן עוברת אליכם.

האם כדאי להשתמש בו לפתרון בעיות חישוביות?

ממש לא. הוא קיבל ציון של 12.89 בלבד במבחן GSM8k, מה שמראה יכולת נמוכה מאוד במתמטיקה ובפתרון בעיות כמותיות.

איך מריצים

כדי להריץ את המודל בדיוק המקורי שלו, float16, תצטרכו להתמודד עם משקל קבצים של 60.6 GB הפרוסים על פני 20 קבצים. זה דורש זיכרון וידאו משמעותי מאוד, הרבה מעבר לכרטיס מסך ביתי בודד, ולכן בלי חלוקה בין כרטיסים או קוונטיזציה אין מה לנסות להרים אותו על מחשב רגיל.

הוא רץ ישירות דרך ספריית transformers. אם אין לכם שרת ייעודי זמין עם מספיק זיכרון להחזיק מעל שישים גיגה של משקלים, שווה לשקול פתרונות מרוחקים או להמיר אותו לפורמט מכווץ לפני שמתחילים לשפוך כסף על חומרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="QuixiAI/WizardLM-30B-Uncensored")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 60.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other, כלומר אין כאן רישיון קוד פתוח סטנדרטי ומוכר. במצב כזה אי אפשר לדעת מראש אם מותר להשתמש בו במוצר מסחרי, מה שמחייב בדיקה משפטית זהירה מול תנאי המקור של Llama ו־WizardLM לפני שמפיצים אותו ללקוחות.

הרישיון המלא בעמוד המודל ↗