L3-8B-Stheno-v3.2

מה זה

היוצר לקח את בסיס שמונת המיליארדים של מטא, אימן אותו במשך כעשרים וארבע שעות על כרטיס H100 בודד, ומיזג כמה גרסאות עד שהגיע לתוצאה הזו. המטרה כאן ברורה: כתיבת סיפורים ומשחקי תפקידים, תוך שילוב דאטהסטים של פרומפטים מבוססי אופוס וטקסטים מסוננים. הוא מיועד למי שמחפש מודל קומפקטי שמסוגל להחזיק שיחה ארוכה בלי לאבד את הדמות או להתבלבל בהוראות.

בהשוואה לגרסה הקודמת שלו, הוכנסו פנימה יותר נתוני עוזר והוראות רגילות. המפתח מדווח על היצמדות טובה יותר להנחיות ואיזון נכון יותר בין תוכן נקי לתוכן למבוגרים, אם כי במחיר של ירידה קלה ביצירתיות הפרועה שהייתה קודם. הטמפרטורה המומלצת להרצה שלו גבוהה יחסית, סביב 1.12 עד 1.22, כדי לפצות על זה ולהחזיר קצת מהפלפול של הכתיבה.

מתאים ל

• משחקי תפקידים בוטים

  הוא אומן להישאר בתוך הדמות בלי להטיף מוסר ובלי לצאת מהתפקיד גם בשיחות מתמשכות.

• עוזר לכתיבת סיפורים

  האימון על נתוני כתיבה מאפשר לו להמשיך עלילות מורכבות תוך שמירה על קו נרטיבי עקבי.

• סימולציות שיחה באנגלית

  הוא מגיב טוב לפרומפטים של מערכת ומתאים את סגנון הדיבור בדיוק להנחיות שקיבל.

איפה זה נופל

היוצר מציין בעצמו שהגרסה הזו מעט פחות יצירתית מקודמותיה, כחלק מהפשרה שנעשתה כדי לשפר את ההבנה הטכנית. בנוסף, חלון ההקשר מוגבל ל־8,192 טוקנים בלבד, מה שאומר שבשיחות ארוכות במיוחד או בטקסטים כבדים הוא פשוט ישכח את ההתחלה. הוא גם אומן על אנגלית בלבד, כך שאין מה לבנות עליו לפרויקטים בעברית, ואין לו יכולות מוכחות בקוד או במתמטיקה מורכבת.

אותה משפחה

L3-8B-Stheno יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

במשקל של 15 גיגה בייט בפורמט המקורי, תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה בייט זיכרון כדי להריץ אותו בלי קוונטיזציה. אם אתם עובדים על מחשב אישי רגיל, עדיף להוריד גרסאות מכווצות דרך תוכנות כמו אולאמה או קובולד, שם תוכלו להסתפק בפחות משאבים.

המודל דורש תבנית פרומפט מדויקת של לאמה 3 עם תגיות מערכת ומשתמש, אחרת הוא מתחיל לייצר טקסטים שבורים. אין כאן שירות ענן רשמי או נקודת קצה מסודרת בחשבון, כך שאם אין לכם כוונה להרים תשתית עצמאית בשרת, תצטרכו לפנות ישירות ליוצר בדיסקורד כדי לבדוק אפשרויות אירוח.

from transformers import pipeline

pipe = pipeline("text-generation", model="Sao10K/L3-8B-Stheno-v3.2")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• Stheno.png1.9 MB
• tokenizer_config.json51.0 KB
• model.safetensors.index.json25.1 KB
• README.md2.6 KB
• .gitattributes1.6 KB
• config.json716 B
• special_tokens_map.json296 B

הרישיון

הרישיון הוא CC BY-NC 4.0, מה שאומר שאסור להשתמש במודל לשום מטרה מסחרית בלי אישור מפורש. אתם יכולים לחקור אותו, לשנות אותו ולהריץ אותו באופן פרטי לחלוטין. אם אתם מתכננים לשלב אותו בשירות שמכניס כסף, תצטרכו לפנות ליוצר דרך דיסקורד ולסגור איתו תנאים בנפרד.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗