UnslopNemo-12B-v3-GGUF
קוד פתוחTheDrummerרישיון לא דווח2024-10-10
גרסת ניסוי של מודל 12B שעברה ניקוי עמוק של דאטה כדי לייצר טקסט אנושי וחי יותר. מי שמחפש כתיבה יצירתית או משחקי תפקידים בלי קלישאות שחוקות ימצא כאן כיוון מעניין לבדיקה.
- 46.7 GBמשקל הקבצים
- 4,995הורדות בחודש
- 37לייקים
מה זה
מדובר בניסוי ישיר של TheDrummer שמבוסס על שכתוב וסינון של בערך 90 אחוז מדאטה משחקי התפקידים שלו. המטרה כאן מוגדרת וברורה מאוד, להעיף את הניסוחים הלעוסים והתבניות הקבועות שכל מודל שיחה נוטה ליפול אליהן, ולתת פלט עם הבעה חופשית ומגוונת בהרבה. בעבר הפרויקט הזה הסתובב תחת השם Rocinante בגרסה קודמת, וכאן הוא מגיע בגרסה שלוש.
המודל מיועד לעבוד בתצורות פרומפט כמו Mistral, Metharme או השלמת טקסט חופשית. בניגוד למודלים שמכוונים למשימות ארגוניות יבשות, כאן הדגש הוא על זרימה סיפורית ודיאלוגים שלא נשמעים כאילו נכתבו על ידי רובוט מנומס. אין כאן טבלאות ביצועים רשמיות או ציוני מבחנים, היוצר פשוט שחרר את הניסוי לקהילה ומבקש פידבק ישיר כדי לראות אם הסינון המאסיבי באמת שיפר את אופי הכתיבה בפועל.
מתאים ל
- משחקי תפקידים ודיאלוגים
הדאטה סונן במיוחד כדי להפחית חזרתיות וקלישאות בשיחות פתוחות.
- כתיבה יצירתית וסיפורת
מתאים לבדיקת רעיונות עלילתיים כשרוצים סגנון פחות רובוטי.
- ניסויי דגימה והנחיה
בדיקת השפעה של כיבוי פרמטרי דגימה על פלט במודל 12B.
איפה זה נופל
זהו ניסוי מוצהר ולא מוצר יציב שמיועד לשרת לקוחות קצה. היוצר לא פרסם שום מבחני ביצועים, מדדי דיוק או בדיקות עקביות, אלא ביקש מהמשתמשים לדווח לו מה עובד ומה נשבר. בנוסף, מודל שמכוון לכתיבת תפקידים חופשית עלול להמציא עובדות בקלות, לסטות מהנחיות נוקשות ולהתנהג בצורה לא צפויה אם מנסים להפעיל אותו על משימות לוגיות, חילוץ מידע או קוד.
אותה משפחה
UnslopNemo יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם כדאי להשתמש בו לפיתוח צ'אטבוט עסקי לחברה?
לא, הוא מוגדר כניסוי ועבר התאמה לכתיבה יצירתית ומשחקי תפקידים. הוא לא נבנה לענות על שאלות עובדתיות, ובהיעדר רישיון מוגדר אסור להטמיע אותו במוצר מסחרי.
באיזה מבנה פרומפט צריך לפנות אליו?
אפשר להשתמש בתבנית של Mistral, בתבנית Metharme המוכרת מיישומי שיחה, או במצב השלמת טקסט חופשי. כדאי לבדוק את כולם ולראות מה נותן את התוצאה הטובה ביותר.
איך מריצים
המשקל הכולל של כלל הקבצים מגיע ל־46.7 ג'יגה בייט על פני שמונה קבצים שונים. כדי להריץ קובץ קוונטיזציה בודד של מודל 12B תצטרכו כרטיס מסך עם לפחות 12 עד 16 ג'יגה זיכרון, תלוי ברמת הדחיסה שתבחרו להוריד למחשב שלכם.
בכרטיס מצוין במפורש שצריך לשחק עם הגדרות הדגימה, ולפעמים שווה לכבות פרמטרים רגילים שפועלים כברירת מחדל כדי לקבל תוצאה טובה. אם אין לכם חומרה מקומית מתאימה ואתם רק רוצים לבדוק את סגנון הכתיבה לכמה דקות, עדיף לחפש שרת ענן פשוט לפי שעה במקום להוריד עשרות ג'יגה בייטים.
ollama run hf.co/TheDrummer/UnslopNemo-12B-v3-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
8 קבצים במאגר, 46.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון לא דווח בעמוד המודל. מבחינה משפטית ומעשית זה משאיר אתכם בערפל מוחלט. אסור להכניס מודל כזה למוצר מסחרי או לשירות פעיל, כי אין שום היתר שימוש כתוב מהיוצר, ומומלץ להגביל את השימוש להתנסות אישית ומחקר בלבד.