G4-MeroMero-26B-A4B

קוד פתוח

zerofataapache-2.02026-04-15

safetensors
gemma4

גרסת כוונון עדין למודל Gemma 4 שמיועדת למשחקי תפקידים וכתיבה ישירה. המפתח מיזג את האימון חזרה למקור כדי לקבל חשיבה מובנית יותר בלי לאבד את ההיגיון.

26Bפרמטרים
262,144טוקנים בהקשר
48.1 GBמשקל הקבצים
867הורדות בחודש

מה זה

הבסיס כאן הוא מודל תערובת מומחים של גוגל בגודל 26 מיליארד פרמטרים, עם 4 מיליארד פרמטרים פעילים. היוצר אימן עליו LoRA על כ־35 מיליון טוקנים של שיחות מרובות תורות, ואז ביצע מיזוג ליניארי ביחס של חצי בחצי עם מודל ההוראות המקורי. המטרה היתה לפתור את הנטייה של המקור להתפזר בסגנון כתיבה מנופח מדי.

בפועל, השינוי מורגש בעיקר בסגנון התשובה וביעילות שלה. הוא משתמש בפחות טוקנים בשלבי החשיבה ומציג סגנון כתיבה פחות עמוס ומליצי. הוא תומך בהפעלה עם חשיבה פעילה או בלעדיה, ומכוון ספציפית לממשקים כמו SillyTavern, כולל תבניות מוגדרות לפעולות, דיאלוג ומחשבות.

מתאים ל

משחקי תפקידים ב־SillyTavern
המודל מותאם מראש עם פורמטים מוגדרים לפעולות ודיאלוג, ודורש פחות טוקנים לשלב החשיבה.
כתיבה יצירתית ממוקדת
הוא חותך ניסוחים מנופחים ומייצר טקסט ענייני ומהיר יותר בהשוואה למודל ההוראות המקורי.
הרצה מקומית חסכונית
ארכיטקטורת MoE מפעילה רק 4 מיליארד פרמטרים מתוך 26 בכל צעד, מה שנותן מהירות גבוהה יחסית.

איפה זה נופל

המפתח עצמו מודה שהמודל לא פתר את בעיית מגוון התשובות כשמבקשים חלופה חדשה, והוא נוטה לחזור על אותם רעיונות. בנוסף, האימון לא שיפר את יכולות ההיגיון או את הנטייה לחזרתיות, אלא רק השווה אותן למודל המקורי של גוגל. תהליך הכוונון כמעט שבר את המודל בגלל התאמת יתר קלה, ולכן המיזוג נועד רק לתקן נזקים ללוגיקה ולא להוסיף יכולות חשיבה חדשות.

אותה משפחה

G4-MeroMero יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

G4-MeroMero-26B-A4B-gguf8,042 G4-MeroMero-v2-31B866 G4-MeroMero-31B132

שאלות
נפוצות

האם המודל שומר על יכולות ההיגיון של המקור?

הוא ברמה דומה למקור בלבד, ולא חכם ממנו. הכוונון פגע בלוגיקה, והמיזוג חזרה למודל של גוגל נועד פשוט להחזיר אותו לרמת הבסיס.

אילו הגדרות מומלץ להגדיר עבורו בדוגם?

היוצר ממליץ לעבוד עם טמפרטורה בטווח של 0.8 עד 1.0, וערך MinP של 0.05 כדי לקבל תוצאות יציבות.

איך מריצים

כדי להריץ את משקלי ה־bfloat16 המקוריים, ששוקלים 48.1 גיגה בייט, צריך לפחות שני כרטיסי 24 גיגה בייט או כרטיס בודד של 48 גיגה בייט ומעלה. אם מנסים לאמן או להריץ הקשר מלא על כרטיס 32 גיגה בייט יחיד, המפתח מזהיר שנתקלים במגבלת זיכרון כבר באורכי הקשר של 4,096 טוקנים בגלל מימוש ה־SDP attention.

לשימוש מקומי טיפוסי עדיף בהרבה לפנות לגרסאות ה־GGUF המכומתות שפורסמו במקביל. הן נכנסות לחומרה ביתית נפוצה ומאפשרות הרצה פשוטה בלי לנהל תצורות שרת מורכבות.

pip install -U huggingface_hub
hf download zerofata/G4-MeroMero-26B-A4B

הקבצים

22 קבצים במאגר, 48.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 מאפשר שימוש מסחרי מלא, שינוי של הקוד והמשקלים והפצה חופשית. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בכל הפצה או שילוב במוצר.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗