Gemmasutra-Mini-2B-v1-GGUF

קוד פתוח

TheDrummerother2024-08-03

gguf
endpoints_compatible
conversational

זה כוונון עדין של מודל קטן שמיועד למשחקי תפקידים מקומיים. הוא פונה למי שמחפש טקסט ללא צנזורה על חומרה חלשה במיוחד.

45.3 GBמשקל הקבצים
12,809הורדות בחודש
87לייקים

מה זה

מדובר במודל שפת שיחה בגודל שני מיליארד פרמטרים, שעבר התאמה ייעודית למשחקי תפקידים אינטראקטיביים. המפתח יצר אותו במטרה להוכיח שגם מודלים מתחת לשבעה מיליארד פרמטרים יכולים לספק חוויית שיחה עשירה, בלי להיחנק ממגבלות חומרה או לייצר טקסט יבש ומקוטע.

המאפיין המרכזי כאן הוא הסרת מנגנוני הסינון וההתאמה המקובלים. המודל מוגדר כחסר צנזורה לחלוטין, מה שאומר שהוא מסוגל לייצר תכנים בוטים או תכני מבוגרים בלי לחסום את המשתמש. הוא יודע להתמודד עם משחקי תפקידים הכוללים מספר דמויות במקביל, ומגיב היטב להנחיות מערכת שמגדירות אופי, עלילה או פרמטרים משתנים לאורך השיחה.

בניגוד למודלים גנריים בגודל הזה שנוטים להתפזר או לסרב לבקשות מורכבות, הוא מכויל להחזיק שיחה רציפה ולשמור על אמינות הדמות. אין כאן מבחני ביצועים רשמיים או ציונים השוואתיים, אלא התמקדות בלעדית בזרימת הטקסט ובמוכנות שלו להשתלב בתוכנות צ'אט עצמאיות.

מתאים ל

הרצת משחקי תפקידים בסלולר
הוא מתוכנן במפורש לעבוד בתוך אפליקציות צ'אט מקומיות בטלפונים ניידים ללא צורך בחיבור לרשת.
סימולציות שיחה במחשב חלש
הגודל הזעיר מאפשר לייצר שיחות ארוכות גם על מעבדים פשוטים או מחשבים ללא כרטיס מסך ייעודי.
כתיבה יצירתית ללא צנזורה
הוא עוקף חסימות תוכן ומאפשר לייצר עלילות ודיאלוגים למבוגרים בלי לקבל סירובים אוטומטיים.

איפה זה נופל

היוצר מציין במפורש לא להשתמש במודל הזה למתמטיקה. מעבר לזה, עם שני מיליארד פרמטרים בלבד, יכולת ההיגיון הלוגי מוגבלת מאוד, והמודל ייכשל במשימות תכנות, ניתוח נתונים מורכב או שליפת עובדות מדויקת. הוא נועד ליצירת טקסט חופשי, ולכן יש סיכון גבוה להזיות עובדתיות. היעדר הצנזורה אומר גם שאין שום מעקה בטיחות מובנה מפני פלט פוגעני, כך שהוא לא מתאים לסביבות שדורשות סינון תוכן.

אותה משפחה

Gemmasutra-Mini יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Gemmasutra-Mini-2B-v140

שאלות
נפוצות

האם המודל מתאים לפיתוח בוט עובדתי או שירות לקוחות?

לא. מודל בגודל שני מיליארד פרמטרים שעבר אופטימיזציה למשחקי תפקידים נוטה להמציא פרטים במהירות. מעבר לכך, היעדר הצנזורה עלול להוביל לפלטים בוטים ולא מתאימים למשתמשים בסביבה עסקית.

איך צריך להגדיר את הפרומפט כדי שהדמות תגיב נכון?

יש לבחור בתבנית ההוראות של Gemma אך לערוך אותה כך שתתמוך בתפקיד מערכת מוגדר. הכרטיס ממליץ להשתמש במבנה עם תגית ייעודית לתחילת תור המערכת, או לעבוד ישירות בממשק Chat Completion.

איך מריצים

המודל מגיע בפורמט בינארי שרץ ישירות על מגוון מעבדים, כולל כרטיסי מסך חלשים, טלפונים ניידים באפליקציות כמו Layla, מחשבים ניידים ישנים ואפילו לוחות רספברי פאי. בסביבת עבודה מקומית למחשב, כרטיס המודל מציין תאימות ישירה לכלי כמו Kobold בגרסה 1.72 ומעלה.

בזמן ההפעלה צריך להשתמש בתבנית ההוראות של Gemma, אך יש לערוך אותה ידנית כך שתתמוך בהגדרת תפקיד מערכת עם התגית המתאימה. אם אתם מחפשים קוונטיזציה מדויקת יותר, הכרטיס עצמו מפנה לגרסאות חלופיות מסוג iMatrix.

ollama run hf.co/TheDrummer/Gemmasutra-Mini-2B-v1-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

F3210.5 GB F165.2 GB BF165.2 GB Q8_02.8 GB Q6_K2.2 GB Q5_K_M1.9 GB Q5_K1.9 GB Q5_K_S1.9 GB Q4_K_M1.7 GB Q4_K1.7 GB Q4_K_S1.6 GB Q4_0_4_41.6 GB Q4_0_4_81.6 GB Q4_0_8_81.6 GB Q3_K_L1.6 GB Q3_K_M1.5 GB Q3_K1.5 GB Q3_K_S1.4 GB Q2_K1.2 GB

הקבצים

21 קבצים במאגר, 45.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח במאגר מוגדר כמשטר אחר ולא כרישיון קוד פתוח סטנדרטי. הכרטיס אינו כולל פירוט על תנאי השימוש, היתר מסחרי או הגבלות הפצה מסחריות. כל עוד תנאי הרישיון המקוריים של המודל שעליו הוא מבוסס לא נבדקו ישירות מול המקור, שילוב של המודל הזה במוצר מסחרי כרוך באי ודאות משפטית.

הרישיון המלא בעמוד המודל ↗