Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF

קוד פתוח

ArliAIapache-2.02024-08-31

gguf
endpoints_compatible
conversational

גרסת כוונון עדין למשחקי תפקידים וכתיבה יוצרת על בסיס מיסטרל נמו. היא נבנתה במיוחד כדי לא להיתקע על אותן תבניות אופי שמאפיינות מודלים דומים.

95.4 GBמשקל הקבצים
2,287הורדות בחודש
57לייקים

מה זה

מדובר בהתאמה של מיסטרל נמו 12B שנועדה למשחקי תפקידים ולכתיבה עלילתית. הדגש העיקרי באימון היה ניקוי כפילויות מוחלט ממאגר המידע, מתוך מטרה למנוע מהמודל לחזור על אותם דפוסי התנהגות או להינעל על אישיות קבועה אחת. היוצרים כיוונו לגיוון מקסימלי בדמויות ובמצבים כדי שהתגובות ירגישו רעננות יותר ממה שמקובל בתחום הזה.

הבסיס של מיסטרל נבחר בגלל שהוא פתוח יחסית ופחות מוגבל במחסומי תוכן בהשוואה למודלים אחרים בגודל שלו. האימון עצמו נעשה בריצת איפוק אחת בלבד כדי לצמצם את תופעת החזרתיות של הטקסט, עם חלון הקשר של 8192 טוקנים. אין כאן מבחני ביצועים רשמיים עם ציונים, אלא הסתמכות על דיווחי משתמשים ראשוניים שטענו שהסגנון שלו מרגיש שונה ופחות שבלוני ממודלי שיחה מקבילים.

מתאים ל

משחקי תפקידים בוטים
הוא תוכנן במיוחד לא להיתקע על אישיות אחת ומגיב מגוון יחסית למצבים שונים.
כתיבת סיפורים ועלילות
האימון שלו נמנע מכפילויות כדי לספק טקסט עלילתי שלא חוזר על אותן קלישאות.
הפעלת דמויות משחק עצמאיות
הגודל של 12 מיליארד פרמטרים מאפשר להריץ אותו מקומית על כרטיס מסך יחיד.

איפה זה נופל

המודל אומן עם חלון הקשר של 8192 טוקנים בלבד, כך שהוא לא יחזיק שיחות ארוכות במיוחד או היסטוריית משחק מורכבת בלי שתקצצו אותה. מעבר לזה, הבסיס הוא כלי לא מסונן יחסית שמיועד לטקסט חופשי, כך שאם אתם בונים שירות שדורש מעקות בטיחות או סינון תכנים, תצטרכו להטמיע בדיקות משלכם. הוא לא עבר אופטימיזציה למשימות קוד או לשליפת עובדות מדויקת.

אותה משפחה

Mistral-Nemo-12B-ArliAI-RPMax יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mistral-Nemo-12B-ArliAI-RPMax-v1.162

שאלות
נפוצות

באיזה פורמט פרומפט צריך להשתמש כדי לקבל תוצאות טובות?

היוצרים מציינים שיש להשתמש בפורמט ההוראות המקורי של מיסטרל אינסטרקט. שימוש בתבנית אחרת יפגע באיכות התשובות וביכולת שלו לעקוב אחרי הנחיות הדמות.

האם המודל יצנזר תכנים במהלך כתיבה או משחק?

הבסיס שלו הוא מיסטרל נמו שנחשב פתוח ומתירני יחסית, והיוצרים מציינים זאת במפורש כיתרון. אם אתם צריכים סינון מלא של תכנים רגישים, הוא לא עושה את זה מעצמו.

איך מריצים

המודל מופץ כקבצי GGUF במשקל כולל של כמעט 96 גיגה בייט עבור כלל הגרסאות המכווצות. גודל של 12 מיליארד פרמטרים בגרסאות מכווצות דורש בפועל כרטיס מסך עם זיכרון וידאו של לפחות 12 עד 16 גיגה כדי להריץ הכל מקומית בצורה סבירה, או שילוב של כרטיס חלש יותר עם זיכרון המחשב.

המפתחים מעמידים גישה ישירה למודל דרך האתר שלהם. אם אין לכם חומרה מתאימה להרצה ביתית או שאתם רוצים לחסוך התקנות של ספריות הרצה מקומיות, הפנייה לשירות שלהם תהיה פשוטה ומהירה בהרבה.

ollama run hf.co/ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

ArliAI-RPMax-12B-v1.1-fp1624.5 GB Q8_013.0 GB Q6_K10.1 GB Q5_K_M8.7 GB Q5_K_S8.5 GB Q4_K_M7.5 GB Q4_K_S7.1 GB Q3_K_L6.6 GB Q3_K_M6.1 GB Q3_K_S5.5 GB Q2_K4.8 GB

הקבצים

13 קבצים במאגר, 95.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא אפאצ'י 2.0. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי לגרור אחריות על המפתחים המקוריים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗