Lumimaid-v0.2-12B-GGUF

קוד פתוח

NeverSleepcc-by-nc-4.02024-07-27

gguf
not-for-all-audiences
nsfw
endpoints_compatible
conversational

גרסה מכווננת של Mistral-Nemo שמיועדת לכתיבה ולמשחקי תפקידים. המפתחים ניקו ממנה באופן אגרסיבי תבניות טקסט שחוקות ומאוסות.

36.6 GBמשקל הקבצים
1,306הורדות בחודש
44לייקים

מה זה

המודל הזה בנוי על גבי Mistral-Nemo-Instruct-2407 ומכוון בעיקר לשיחות, כתיבה יוצרת ותרחישי משחקי תפקידים. היוצרים שלו, Undi ו־IkariDev, לקחו דאטה־סטים מגוונים מאוד, שכוללים חומרים סינתטיים מבוססי קלוד, תרחישי משחק אפלים, ושאלוני תיאוריית הנפש, וביצעו עליהם תהליך סינון אגרסיבי. המטרה שלהם בגרסה 0.2 הייתה למחוק טקסטים קלישאתיים ושיחות שנשמעות רובוטיות או גנריות, אחרי שספגו ביקורת על גרסאות קודמות.

בניגוד למודלי Nemo סטנדרטיים שמשמשים לעבודה משרדית או לקוד, הדגש כאן הוא על סגנון כתיבה גמיש ואנושי יותר. המפתחים שילבו נתונים לתרגול מענה רעיל לצד תרחישי שיחה רב־שלביים, כך שהוא מותאם לתגובות חופשיות ופחות מתנצלות. אין בכרטיס המודל תוצאות מדידה מספריות או מבחני ביצועים רשמיים, מה שאומר שהאיכות שלו נמדדת בעיקר במבחן התוצאה של הטקסט שהוא מייצר בפועל, ולא בטבלאות ציונים.

מתאים ל

משחקי תפקידים וכתיבה
הוא עבר אימון על תרחישי RP ונוקה מקלישאות וטקסטים רובוטיים.
יצירת דיאלוגים מורכבים
כולל נתונים של תיאוריית הנפש ושיחות רב־שלביות של קלוד.
בדיקות סובלנות לתוכן
האימון כולל דאטה־סטים של שאלות ותשובות רעילות לבחינת תגובות.

איפה זה נופל

המודל אומן על דאטה שכולל תכנים מורכבים, שאלות רעילות ותרחישי משחק חופשיים, ולכן הוא לא מתאים למערכות שירות לקוחות או למוצרים שדורשים סינון תכנים מוקפד. בכרטיס המודל מצוין במפורש שחלק ממקורות המידע לא זוהו במדויק, מה שיוצר סיכון מבחינת בקרת איכות על הנתונים. בנוסף, חוסר בבנצ'מרקים מסודרים דורש מכם לבדוק ידנית כל תרחיש שימוש.

אותה משפחה

Lumimaid יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Lumimaid-v0.2-12B441 Lumimaid-v0.2-8B199 Lumimaid-v0.2-70B116 Lumimaid-v0.2-123B46

שאלות
נפוצות

האם אפשר להשתמש במודל הזה בתוך אפליקציה מסחרית?

לא. הרישיון של המודל הוא cc-by-nc-4.0, שמונע כל שימוש מסחרי. הוא מיועד רק למחקר, ניסויים אישיים או שימוש פרטי.

איזה פרומפט צריך להגדיר כדי לקבל תוצאות נכונות?

המודל משתמש בתבנית הסטנדרטית של Mistral עם תגיות INST סביב הקלט. בנוסף, המפתחים ממליצים במפורש לעבוד עם טמפרטורה נמוכה כדי למנוע יציאה משליטה.

איך מריצים

כדי להריץ את גרסת ה־GGUF הזו תצטרכו תוכנות כמו llama.cpp, LM Studio או ממשקים דומים שתומכים בפורמט. המודל שוקל 36.6 גיגה־בייט שמחולקים לשישה קבצים, כך שצריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון כדי להריץ קוונטיזציות סבירות בלי לחנוק את המחשב.

המפתחים מדגישים שהבסיס דורש טמפרטורה נמוכה, ולכן מומלץ להתחיל בהגדרות קרות ולשחק איתן בהדרגה. הפורמט של הפרומפט הוא תבנית ברירת המחדל של Mistral עם תגיות INST. אם אין לכם חומרה מקומית מתאימה, הורדה והרצה של 36 גיגה תהיה כבדה ואיטית מדי.

ollama run hf.co/NeverSleep/Lumimaid-v0.2-12B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_013.0 GB Q6_K10.1 GB Q5_K_M8.7 GB Q4_K_M7.5 GB

הקבצים

6 קבצים במאגר, 36.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא cc-by-nc-4.0, מה שאומר שאסור להשתמש במודל הזה לשום מטרה מסחרית. מותר להוריד, לשנות ולשתף אותו כל עוד נותנים קרדיט מתאים, אבל אם המטרה היא להטמיע אותו במוצר שמייצר הכנסות, הרישיון הזה פוסל אותו לחלוטין.

שינוי הקוד
חובת ייחוס
שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗