WizardLM-7B-uncensored-GGUF

קוד פתוח

TheBlokeother2023-09-19

transformers
gguf
llama
uncensored

גרסה מכווצת של מודל פתוח שהוסרו ממנו מנגנוני הסינון המוסריים. הוא עונה על שאלות בלי להטיף מוסר ובלי לסרב לבקשות שלכם.

47.7 GBמשקל הקבצים
16,506הורדות בחודש
62לייקים

מה זה

מדובר בהמרה של TheBloke לפורמט GGUF עבור המודל שיצר אריק הרטפורד. הבסיס הוא WizardLM בגודל שבעה מיליארד פרמטרים, אבל נתוני האימון נוקו מתשובות שכללו הטפות מוסר, מגבלות תוכן ומנגנוני יישור רגילים. המטרה של המהלך הזה היתה לספק בסיס נקי שאפשר להוסיף עליו התנהגות מותאמת אישית, למשל בעזרת LoRA, במקום להילחם בסירובים של המודל המקורי.

בגודל הזה הוא מתאים בעיקר לעבודה מקומית שלא דורשת שרתים יקרים. המודל עובד מול תבנית שיחה בסגנון Vicuna, ומוכן לשימוש ישיר דרך כלי קוד פתוח כמו llama.cpp בלי תלות ברשת.

מתאים ל

מחקר על יישור מודלים
בסיס התחלתי נקי להוספת כללי בטיחות ייעודיים באמצעות LoRA.
כתיבה יצירתית ללא סינון
יצירת דמויות וטקסטים בלי שהמודל יסרב לתאר קונפליקטים או מצבים קשים.
הרצה מקומית ומנותקת
עבודה במחשב אישי ללא חיבור אינטרנט ובלי לחשוף את המידע החוצה.

איפה זה נופל

ליוצר אין שום אחריות על הפלטים, והוא מבהיר שהאחריות כולה עליכם כמו בשימוש בחפץ מסוכן. אין כאן מעקות בטיחות בכלל, והוא יכול לייצר תוכן פוגעני, רעיל או שגוי בלי להתריע. בנוסף, מודל של שבעה מיליארד פרמטרים עדיין מוגבל בהבנה מורכבת של הקשרים ארוכים, ולכן אסור לחבר אותו למוצר מול משתמשים בלי שכבת סינון ובקרה חיצונית שאתם בונים בעצמכם.

אותה משפחה

WizardLM-7B-uncensored יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

WizardLM-7B-uncensored-GPTQ573

שאלות
נפוצות

איזה קובץ בדיוק כדאי לי להוריד מהרשימה?

הקובץ המאוזן ביותר לרוב השימושים הוא Q4_K_M ששוקל קצת יותר מארבעה גיגה בייט. אם יש לכם מקום וזיכרון פנוי במחשב, גרסאות כמו Q5_K_M יתנו איכות טובה יותר בלי להעמיס יותר מדי על החומרה.

האם הוא מסוכן להרצה על המחשב?

הקובץ עצמו לא פוגע במחשב, אבל התוכן שהוא מייצר לא מוגבל בכלל. כל מה שיוצא ממנו הוא באחריותכם הבלעדית, בדיוק כמו טקסט שכתבתם לבד.

איך מריצים

אתם מורידים רק קובץ בודד מהמאגר ולא את כל עשרות הגיגה בייטים ששם. קובץ כמו Q4_K_M שוקל 4.08 גיגה בייט וצורך כמעט 6.6 גיגה בייט זיכרון עבודה בהרצה על המעבד, כך שהוא רץ בקלות על מחשב נייד מודרני. אם יש לכם מעבד גרפי, תוכלו להעביר אליו את השכבות ולקבל זמני תגובה מהירים בהרבה.

כלים כמו LM Studio, Faraday או ספריית ctransformers בתוך פייתון יריצו אותו בלי התקנות כבדות. אם אתם לא רוצים להתעסק עם ניהול זיכרון וקבצים מקומיים, עדיף להשתמש ב־API מסחרי ברשת.

ollama run hf.co/TheBloke/WizardLM-7B-uncensored-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_07.2 GB Q6_K5.5 GB Q5_K_M4.8 GB Q5_04.7 GB Q5_K_S4.7 GB Q4_K_M4.1 GB Q4_K_S3.9 GB Q4_03.8 GB Q3_K_L3.6 GB Q3_K_M3.3 GB Q3_K_S2.9 GB Q2_K2.8 GB

הקבצים

15 קבצים במאגר, 47.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other ולכן הוא אינו מסלול קוד פתוח מוכר וסטנדרטי. כדי להשתמש בו במוצר מסחרי צריך לבדוק ישירות את תנאי המקור של הפרויקט של הרטפורד ושל WizardLM. לא מומלץ לשלב אותו ישירות בקוד מסחרי בלי בדיקה משפטית של המקור.

הרישיון המלא בעמוד המודל ↗