Wizard-Vicuna-13B-Uncensored-GPTQ

מה זה

מדובר בהמרה של המודל שיצר אריק הרטפורד לפורמט GPTQ ב־4 ביט, שבוצעה על ידי TheBloke. הבסיס הוא שילוב של WizardLM ו־Vicuna, אך בניגוד למודלים רגילים, הוצאו ממאגר האימון שלו כל התשובות שכללו הטפות, הגבלות בטיחות או יישור קו מוסרי. המטרה היתה ליצור בסיס נקי לגמרי ממגבלות מלאכותיות, שעליו אפשר להלביש התאמות ייעודיות.

בגודל של 13 מיליארד פרמטרים, הוא תופס כ־8 גיגה בזיכרון ומגיב מהר על כרטיסי מסך בודדים. הפורמט הזה מאפשר להריץ אותו מקומית באמצעות AutoGPTQ או ExLlama בלי לאבד הרבה מאיכות התשובות בהשוואה למקור.

מתאים ל

• מחקר ואימון ייעודי

  משמש כבסיס גולמי ונקי מצנזורה לבדיקת התנהגות מודלים והוספת שכבות יישור עצמאיות.

• עוזר מקומי לא מסורס

  מענה ישיר לפקודות מורכבות ללא סירובים או הטפות מוסר שמופיעים במודלים מסחריים.

• כתיבה יצירתית חופשית

  יצירת טקסטים בדיוניים בנושאים רגישים שמודלים רגילים נוטים לחסום מיד.

איפה זה נופל

היוצר מבהיר במפורש שאין פה שום מנגנוני הגנה או מעצורים, ולכן המודל עלול לייצר תוכן פוגעני או מסוכן בלי אזהרה. בנוסף, חלון ההקשר שלו קצר ועומד על 2,048 טוקנים בלבד, מה שמגביל מאוד ניתוח מסמכים ארוכים או שיחות ממושכות. אימון המקור באנגלית בלבד, כך שלא כדאי לבנות עליו לעיבוד שפה בעברית.

אותה משפחה

Wizard-Vicuna-13B-Uncensored יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו תצטרכו כרטיס מסך עם לפחות 10 עד 12 גיגה VRAM. ענף latest כולל Act Order שנותן דיוק עדיף באותו גודל קובץ של 8.11 גיגה, והוא נתמך היטב ב־ExLlama וב־Transformers דרך AutoGPTQ.

אם אתם עובדים עם text-generation-webui, ההתקנה דורשת רק הזנת שם המאגר והורדה ישירה. להרצה מקומית בתוך סביבת עבודה פרטית זה פתרון מצוין, אבל אם אתם צריכים רק שאילתות מזדמנות באנגלית כללית בלי בעיית צנזורה, עדיף לפנות ל־API חיצוני זמין ולחסוך תחזוקת שרת.

from transformers import pipeline

pipe = pipeline("text-generation", model="TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 7.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors8.1 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• README.md15.0 KB
• .gitattributes1.5 KB
• config.json739 B
• tokenizer_config.json727 B
• special_tokens_map.json435 B
• huggingface-metadata.txt360 B
• generation_config.json132 B
• quantize_config.json92 B

הרישיון

הרישיון מוגדר כ־other ולכן תנאי השימוש המסחריים אינם מפורטים או ברורים. מודל הבסיס נשען על LLaMA ועל נתוני שיחה של Vicuna, מה שיוצר סיכון משפטי עבור מי שמתכנן להטמיע אותו במוצר מסחרי סגור.

הרישיון המלא בעמוד המודל ↗