Xwin-MLewd-13B-v0.2-GGUF

קוד פתוח

TheBlokecc-by-nc-4.02023-10-15

transformers
gguf
llama
not-for-all-audiences
nsfw

גרסת GGUF למיזוג שנועד לכתיבה ומשחקי תפקידים למבוגרים. הוא נבנה כדי לעקוף מגבלות בטיחות שחוסמות תכנים מיניים ובוטים במודלים מסחריים רגילים.

91.9 GBמשקל הקבצים
2,546הורדות בחודש
48לייקים

מה זה

המודל הוא תוצר של מיזוג בסגנון slerp בין Xwin-LM בגרסה 0.2 לבין MLewd של היוצר Undi95, שמבוסס בעצמו על שרשרת ארוכה של מודלים והתאמות כמו Pygmalion, Huginn ו־LimaRP. TheBloke לקח את המשקלים המקוריים והמיר אותם לפורמט GGUF כדי לאפשר הרצה מקומית יעילה על מעבדים וכרטיסי מסך ביתיים.

המטרה העיקרית של המיזוג הזה היא יצירת טקסט ללא צנזורה, בדגש על שיחות, תיאורים מיניים ומשחקי תפקידים. להבדיל ממודלי בסיס שמיועדים לקוד או לתשובות עובדתיות, כאן כל הארכיטקטורה כוונה מראש לסגנון דיאלוגי חופשי מאוד, בלי מנגנוני סירוב ובלי ניסיונות לחנך את המשתמש.

מתאים ל

משחקי תפקידים למבוגרים
הוא אומן ישירות על מתאמים כמו LimaRP ו־Pygmalion שנועדו לכתיבה חופשית ללא צנזורה.
הרצה מקומית ב־Faraday
קבצי ה־GGUF מאפשרים להריץ צ׳אטבוטים אישיים ישירות על כרטיס מסך ביתי בלי ענן.
יצירת דיאלוגים לסיפורים
המיזוג כולל שכבות ספציפיות לכתיבת סיפורים שמאפשרות הפקת תכנים יצירתיים ולא מצונזרים.

איפה זה נופל

היוצר מציין במפורש שהתוכן שהמודל מייצר בוטה, גס ומיני, כך שהוא יפלוט טקסטים לא הולמים גם בלי שתבקשו זאת ישירות. הוא מבוסס על Llama 2 הישן עם פורמט פניות Alpaca, ואין בכרטיס שום נתוני מדידה על ביצועים לוגיים, כתיבת קוד או הבנת הנקרא. לא הייתי בונה עליו לשום משימה שדורשת דיוק עובדתי.

אותה משפחה

Xwin-MLewd יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Xwin-MLewd-13B-v0.2-GPTQ71

שאלות
נפוצות

איזה קובץ כדאי להוריד מתוך המאגר?

הקובץ המומלץ לרוב המשתמשים הוא xwin-mlewd-13b-v0.2.Q4_K_M.gguf ששוקל כמעט 8 גיגה בייט. הוא מספק איזון מצוין בין איכות הטקסט לבין צריכת הזיכרון, ונכנס בנוחות ברוב כרטיסי המסך המודרניים.

האם המודל מתאים לעבודה באפליקציה עסקית?

לא. הרישיון הוא cc-by-nc-4.0 שאוסר שימוש מסחרי, ובנוסף המודל מאומן לפלוט תכנים מיניים ובוטים שלא מתאימים לשום שירות לקוחות או מוצר רשמי.

איך מריצים

משקלי ה־GGUF מאפשרים להריץ את המודל דרך llama.cpp, ממשקים כמו LM Studio, Faraday.dev או בספריית ctransformers בפייתון. קובץ ה־Q4_K_M שוקל 7.87 גיגה בייט ודורש סביב 10.37 גיגה בייט זיכרון עבודה בהרצה על מעבד, או כרטיס מסך בודד עם 12 גיגה בייט של VRAM כדי לפרוק אליו את כל 40 השכבות ולקבל מהירות תגובה סבירה.

יש במאגר מגוון רחב של קבצים, החל מ־Q2_K שדורש פחות מ־8 גיגה בייט זיכרון אך מלווה בירידה מורגשת באיכות, ועד Q8_0 שדורש מעל 16 גיגה בייט. לשימוש שוטף, גרסאות ה־Q4 וה־Q5 מציעות את הפשרה הטובה ביותר בין משאבים לאיכות הפלט.

ollama run hf.co/TheBloke/Xwin-MLewd-13B-v0.2-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_013.8 GB Q6_K10.7 GB Q5_K_M9.2 GB Q5_09.0 GB Q5_K_S9.0 GB Q4_K_M7.9 GB Q4_K_S7.4 GB Q4_07.4 GB Q3_K_L6.9 GB Q3_K_M6.3 GB Q3_K_S5.7 GB Q2_K5.4 GB

הקבצים

18 קבצים במאגר, 91.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המוצהר הוא cc-by-nc-4.0, מה שאוסר שימוש מסחרי מכל סוג ומחייב מתן קרדיט. בנוסף, המודל כפוף לתנאי הרישיון של Meta עבור Llama 2 שעליו הוא מתבסס. שילוב הרישיונות הזה אומר שאי אפשר לשלב אותו במוצר שמייצר הכנסה, והוא מוגבל לניסויים ושימוש פרטי בלבד.

שינוי הקוד
חובת ייחוס
שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗