GPT
הוספת כלי
W

Wizard-Vicuna-7B-Uncensored

קוד פתוח

QuixiAIother2023-05-18

  • transformers
  • pytorch
  • llama
  • text-generation
  • uncensored

גרסה נטולת סינונים של מודל שבעה מיליארד פרמטרים, שנבנתה כדי לענות על כל הוראה בלי הטפות מוסר. מי שמוריד אותו מחפש בסיס פתוח לחלוטין שאפשר לאלף עליו עצמאית.

  • 2,048טוקנים בהקשר
  • 25.1 GBמשקל הקבצים
  • 2,972הורדות בחודש
  • 107לייקים

מה זה

מדובר באימון של LLaMA המקורי מול הדאטה-סט של Wizard-Vicuna, שממנו נמחקו בכוונה תשובות עם מנגנוני יישור, הגבלות בטיחות והטפות. המטרה כאן היא לתת מודל נקי מחסימות מובנות, כזה שמשמש נקודת מוצא להתאמה אישית או להוספת שכבת יישור נפרדת דרך LoRA.

במבחני הביצועים הוא מציג תמונה מעורבת שמאפיינת את הדור הראשון של מודלי שבעה מיליארד. הוא מסתדר לא רע בהבנת שפה טבעית והשלמת משפטים, עם 78.85 ב־HellaSwag ו־72.22 ב־Winogrande, אבל מתרסק כשמבקשים ממנו מתמטיקה או היגיון כמותי, עם ציון עגום של 4.55 ב־GSM8K. הידע הכללי שלו ב־MMLU עומד על 37.09, מה שאומר שהוא ינחש לא מעט בעובדות מורכבות.

מתאים ל

  • בסיס לאימון שכבות יישור

    הוא מגיע ללא חסמים מובנים, מה שמתאים למי שרוצה לאמן עליו LoRA משלו לפי כללים פנימיים.

  • יצירת טקסט חופשי

    כתיבה יצירתית ללא סירובים או הטפות מוסר שמופיעים במודלים מסחריים רגילים.

  • מחקר על עמידות מודלים

    בדיקת פגיעויות ואופי התשובות של מודל שפה שנמחקו ממנו מנגנוני הבטיחות.

איפה זה נופל

ליוצר אין אשליות לגבי המוצר, והוא מציין במפורש שאין פה מעקות בטיחות בכלל, בדיוק כמו בסכין או נשק. כל טקסט שהוא מייצר נמצא באחריותכם הבלעדית. חוץ מזה, חלון ההקשר מוגבל ל־2,048 טוקנים בלבד, כך שטקסטים ארוכים ייחתכו מהר. עם ציון נמוך של 4.55 בחישובים מתמטיים ו־43.48 בלבד ב־TruthfulQA, הוא עלול להמציא תשובות בביטחון מלא ולא מתאים למשימות דיוק.

שאלות
נפוצות

האם המודל מבין ועונה בעברית?

המודל אומן ותועד באנגלית בלבד. הוא עשוי לפלוט מילים בעברית עקב הדאטה הכללי ברשת, אבל איכות התשובות תהיה נמוכה ולא עקבית.

למה הקבצים שוקלים מעל 25 גיגה-בייט עבור מודל 7B?

המשקולות נשמרו בדיוק מלא של float32 במקום float16 המקובל. זה דורש זיכרון כפול בזמן טעינה, וכדאי להמיר אותן לפני שימוש רציני.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־25.1 גיגה-בייט בגלל שמירת המשקולות בפורמט float32. כדי להריץ אותו ככה תצטרכו כרטיס מסך כבד מאוד של 32 גיגה-בייט זיכרון גרפי לפחות, או שתמירו אותו בעצמכם לדיוק נמוך יותר כמו 16 ביט או קוונטיזציה של 4 ביט לסביבות צנועות יותר.

אם אתם צריכים רק תשובות מהירות בלי כאב הראש של ניהול שרתים וזיכרון, פנייה ל־API מסחרי תעלה פחות ותחסוך תחזוקה. הרצה עצמית פה שווה את המאמץ רק אם אתם חייבים פרטיות מלאה או שליטה בלי סינון בכלל.

from transformers import pipeline

pipe = pipeline("text-generation", model="QuixiAI/Wizard-Vicuna-7B-Uncensored")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 25.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר בתור other ולא מפרט תנאים סטנדרטיים של קוד פתוח. הבסיס נשען על משקולות LLaMA המקוריות, כך שלקיחת המודל למוצר מסחרי היא הימור משפטי מסוכן בלי בדיקה מעמיקה של תנאי השימוש המקוריים.

הרישיון המלא בעמוד המודל ↗