GPT
הוספת כלי
L

L3.3-MS-Nevoria-70b

קוד פתוח

Steelskullרישיון לא דווח2025-01-14

  • transformers
  • safetensors
  • llama
  • text-generation
  • merge

מיזוג 70B שמכוון ספציפית לכתיבה יוצרת ולמשחקי תפקידים ללא סירובים. נבנה בשיטת Model Stock כדי להעלים את הנטייה המובנית של לאמה לייפות מציאות או להטיף מוסר.

  • 131,072טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 303הורדות בחודש
  • 188לייקים

מה זה

מדובר במיזוג של חמישה מודלים שונים על בסיס לאמה, בהם רכיבים כמו EVA לכתיבה, יוריאל לסצנות מפורטות, ונגטיב לאמה שמיועד לחתוך סירובים ולבטל הטיות מוסרניות. היוצר השתמש בחיסור משקולות של מודל הבסיס כדי לייצר אינטראקציה לא שגרתית בין הרכיבים.

במבחן הביצועים UGI המודל רשם ציון כללי של 56.75 ומדד נכונות של 7.5 מתוך 10, מה שמעיד על היעדר כמעט מוחלט של סירובים במשימות יצירתיות, כולל סצנות קשות או גרפיות. לעומת זאת, ציון התכנות שלו עומד על 20 בלבד, כך שזה אינו מודל למשימות הנדסיות או לפתרון בעיות לוגיות מורכבות.

מתאים ל

  • משחקי תפקידים מורכבים

    שומר על עקביות של דמויות ומעקב אחרי עלילה עם חלון הקשר עמוק, בלי לקטוע את הזרימה עם סירובים מיותרים.

  • כתיבת סיפורת ופרוזה

    משלב משקולות שמתמחות בתיאורי סביבה וסצנות אקשן מחוספסות ללא נטייה לייפות מצבים קשים.

  • ניסויי מיזוג מודלים

    בסיס מעניין למפתחים שרוצים לבחון את השפעת טכניקת חיסור המשקולות על התנהגות מודל הקצה.

איפה זה נופל

המודל הזה נכשל במשימות קוד ומחקר, עם ציון יכולת תכנות של 20 בבנצ'מרק. ביטול הסירובים וההטיות החיוביות הופך אותו ללא מתאים למוצרים שדורשים סינון תכנים, בטיחות מותג או מענה שירותי. בנוסף, מיזוגי משקולות ניסיוניים מהסוג הזה עלולים לפתח חוסר יציבות עובדתית בטקסטים שדורשים דיוק לוגי.

שאלות
נפוצות

האם המודל מתאים לפיתוח תוכנה או סיוע בכתיבת קוד?

לא. ציון התכנות שלו בבדיקות עומד על 20 בלבד. הוא אומן ומודזג למטרות ספרותיות ומשחקי תפקידים, ולא יספק תוצאות אמינות בלוגיקה או בתחביר קוד.

איזה כוח מחשוב נדרש כדי להריץ אותו מקומית?

במשקל מלא מדובר על מעל 130 ג'יגה בייט של זיכרון וידאו, מה שמחייב חומרה של תחנת עבודה ארגונית. לשימוש במחשב מקומי חובה להמתין לקוונטיזציה של הקהילה בפורמטים מוקטנים.

איך מריצים

המשקלים מגיעים בפורמט bfloat16 מלא בנפח 131 ג'יגה בייט על פני 38 קבצים. כדי להריץ את המקור תצטרכו לפחות שני כרטיסי A100 או H100 של 80 ג'יגה בייט, במיוחד אם רוצים לנצל הקשר רחב שמגיע עד 131,072 טוקנים.

אם אין לכם קלאסטר ביתי או תקציב שרתים מכובד, האפשרות היחידה לשימוש אישי היא לחפש גרסאות מכווצות של הקהילה או להרים מופע ייעודי בענן לפי שעה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Steelskull/L3.3-MS-Nevoria-70b")
print(pipe("שלום"))

הקבצים

38 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

היוצר לא ציין רישיון בדף המודל. במצב כזה, ברירת המחדל המשפטית מונעת כל שימוש מסחרי, ואי אפשר להטמיע אותו במוצר בלי להסתכן בהפרת זכויות יוצרים של היוצר ושל המודלים שמוזגו לתוכו.

הרישיון המלא בעמוד המודל ↗