Dans-PersonalityEngine-V1.2.0-24b

מה זה

הבסיס כאן הוא Mistral Small 24B Base 2501, שעבר אימון נוסף שמומן בחלקו על ידי Chub AI. המפתח כיוון אותו ספציפית לתרחישים של כתיבה משותפת, הרפתקאות טקסט, ומשחקי תפקידים, אך הכניס פנימה גם נתונים של הוראות רב שלביות, קריאה לכלים, ניתוח סנטימנט ותמצות. הוא תומך באנגלית בלבד וכולל חלון הקשר באורך שלושים ושניים אלף טוקנים.

בגודל של עשרים וארבעה מיליארד פרמטרים, הוא מנסה לתפוס את האמצע שבין מודלים קטנים מדי של שמונה מיליארד לבין ענקים כבדים. אין כאן ציוני בנצ'מרק מספריים בכרטיס, והמיקוד המוצהר הוא בגמישות סגנונית וביכולת להחזיק דמות מורכבת בלי לאבד את היכולת לעבד מידע בצורה מסודרת.

מתאים ל

• משחקי תפקידים וצ'אטבוטים

  הוא אומן על תרחישי משחק וכתיבה מרובת סבבים, ומחזיק אישיות מוגדרת היטב בפורמט ChatML.

• משחקי הרפתקת טקסט

  דאטהסט האימון כלל משחקי טקסט, ולכן הוא יודע לנהל עלילה מסועפת ולהגיב לפעולות משתמש.

• תמצות וניתוח רגש

  למרות הדגש היצירתי, שולבו בו משימות ניתוח ותמצות שמאפשרות לשלב אותו בצינור עיבוד נתונים.

איפה זה נופל

הבעיה הבולטת ביותר כרגע היא באג בטיפול בטוקן הפתיחה בחלק ממנועי ההרצה. אם המנוע שלכם לא מוסיף את הטוקן בתחילת הקשר, הפלט הופך למבולבל והמודל עלול לחזור על דברי המשתמש מילה במילה במקום לענות. המפתח מציע לעקוף את זה ידנית על ידי הוספת המחרוזת של הטוקן בהתחלה, מה שדורש בדיקה והתאמה של הצינור שלכם לפני כל שימוש.

אותה משפחה

Dans-PersonalityEngine יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו ישירות בפורמט המקורי נדרשים קבצים במשקל כולל של כמעט ארבעים וארבעה ג'יגה בייט בדיוק של bfloat16. האימון עצמו בוצע במשך שישים וחמש שעות על שרת של ארבעה כרטיסי H200, מה שממחיש את כובד המשקל של הארכיטקטורה הזו. כדי לעבוד איתו בצורה מקומית על חומרה צנועה יותר תצטרכו להמתין או לייצר גרסאות מכווצות.

הוא משתמש בתבנית ChatML סטנדרטית עם הגדרות מומלצות של טמפרטורה אחת, Top P של 0.95 ו־Min P של 0.05. קיימת תמיכה מובנית בתבניות של סביבות כמו SillyTavern, והוא נתמך ישירות דרך ספריית transformers.

from transformers import pipeline

pipe = pipeline("text-generation", model="PocketDoc/Dans-PersonalityEngine-V1.2.0-24b")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 43.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00004-of-00010.safetensors4.9 GB
• model-00007-of-00010.safetensors4.9 GB
• model-00005-of-00010.safetensors4.8 GB
• model-00008-of-00010.safetensors4.8 GB
• model-00006-of-00010.safetensors4.8 GB
• model-00009-of-00010.safetensors4.8 GB
• model-00003-of-00010.safetensors4.8 GB
• model-00002-of-00010.safetensors4.8 GB
• model-00001-of-00010.safetensors4.8 GB
• model-00010-of-00010.safetensors3.9 GB
• tokenizer.json17.1 MB
• resources/chub-black.gif1.7 MB
• tokenizer_config.json198.7 KB
• resources/pe24.png65.1 KB
• model.safetensors.index.json29.9 KB
• special_tokens_map.json21.5 KB
• README.md15.3 KB
• .gitattributes1.6 KB
• config.json743 B
• generation_config.json177 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים בלי תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית והצהרת הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗