MistralRP-Noromaid-NSFW-Mistral-7B-GGUF

מה זה

מדובר במיזוג שנוצר באמצעות mergekit בשיטת SLERP, שמחברת שכבה אחר שכבה בין Undi95/Mistral-RP-0.1-7B לבין MaziyarPanahi/NSFW_DPO_Noromaid-7b-Mistral-7B-Instruct-v0.1. שני המקורות התמקדו במשחקי תפקידים ובתוכן ללא הגבלות, והתוצאה מנסה לשמר את היכולת הנרטיבית של שניהם בתוך מעטפת של שבעה מיליארד פרמטרים עם שלושים ושתיים שכבות.

המודל מגיע עם חלון הקשר של 32,768 טוקנים ומשתמש בתבנית הפרומפט של Alpaca. אין בדף המודל מבחני ביצועים רשמיים או ציוני בנצ'מרק, כך שאי אפשר למדוד את יכולות ההיגיון או הידע הכללי שלו במספרים, וההתמקדות כאן היא בבירור יצירת טקסט עלילתי ודיאלוגים ממושכים.

מתאים ל

• משחקי תפקידים וירטואליים

  המיזוג נבנה ספציפית כדי לתמוך באינטראקציות דיאלוגיות חופשיות מבוססות דמויות ללא מעצורים.

• כתיבה עלילתית פתוחה

  מתאים ליוצרים שמחפשים מנוע טקסט שאינו מסרב לייצר תכנים בוגרים או סצנות קונפליקט מורכבות.

• עבודה עם שיחות ארוכות

  חלון הקשר של 32,768 טוקנים מסייע לשמור על רצף עלילתי וזיכרון שיחה ממושך בלי לאבד פרטים.

איפה זה נופל

המודל הזה מכוון ישירות לתוכן לא מצונזר ולמשחקי תפקידים, מה שאומר שאין בו מנגנוני בטיחות מקובלים. הוא לא נבדק על משימות קוד, חילוץ מידע או פתרון בעיות מורכבות, והסתמכות עליו עבור משימות מקצועיות תוביל להזיות ולתשובות לא מדויקות. מעבר לכך, חובה להשתמש בתבנית Alpaca המדויקת, שכן סטייה ממנה תפגע מיד בעקביות הטקסט.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־15.8 גיגה בייט בדיוק bfloat16 ומחולק לשנים עשר קבצים שונים. כדי להריץ את המודל המקורי בצורה חלקה תצטרכו כרטיס מסך עם לפחות שישה עשר עד עשרים וארבעה גיגה בייט זיכרון גרפי, תלוי בכמות הטוקנים שתעמיסו על ההקשר.

אם אתם מחפשים חיסכון במשאבים ולא רוצים להחזיק שרת ייעודי, גרסאות מכווצות בפורמט GGUF מאפשרות לזרוק חלק מהשכבות למעבד ולזיכרון המחשב הרגיל. קריאה ל־API חיצוני תתאים אם אין לכם חומרה מקומית מתאימה או כשאתם לא רוצים להתעסק בהגדרות שרתים, אבל בגלל אופי התוכן, ספקים מסחריים גדולים ממילא נוטים לחסום בקשות כאלה.

ollama run hf.co/Ttimofeyka/MistralRP-Noromaid-NSFW-Mistral-7B-GGUF:Q5_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

12 קבצים במאגר, 15.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• MistralRP-Noromaid-NSFW-7B-Q8_0.gguf7.7 GB
• MistralRP-Noromaid-NSFW-7B-Q5_K_M.gguf5.1 GB
• MistralRP-Noromaid-NSFW-7B-Q4_0.gguf4.1 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json22.8 KB
• .gitattributes2.1 KB
• README.md1.2 KB
• tokenizer_config.json966 B
• config.json643 B
• mergekit_config.yml443 B
• special_tokens_map.json414 B

הרישיון

היוצר לא דיווח על רישיון בדף המודל. מבחינה משפטית, היעדר רישיון אומר שאין לכם הרשאה מפורשת להשתמש בו, להפיץ אותו או לשלב אותו במוצר מסחרי. כל שימוש מעבר לניסוי אישי בסביבה סגורה חושף אתכם לסיכון של הפרת זכויות יוצרים של המודלים המקוריים שמוזגו לתוכו.

הרישיון המלא בעמוד המודל ↗