GPT
הוספת כלי
L

L3.3-70B-Euryale-v2.3

קוד פתוח

Sao10Kllama32024-12-07

  • transformers
  • safetensors
  • llama
  • text-generation
  • generated_from_trainer

אימון מלא על בסיס לאמה 3.3 שמיועד להחלפת גרסאות יוריאל קודמות. שווה לבדוק אותו אם אתם מחפשים מודל גדול לכתיבה יצירתית ולשיחות מורכבות.

  • 71Bפרמטרים
  • 131,072טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 928הורדות בחודש

מה זה

הגרסה הזו נבנתה כאימון מלא ישירות על גבי Llama 3.3 Instruct, ולא כמיזוג של לורה, במטרה לשמש כיורשת ישירה של Euryale v2.2 הוותיקה יותר. המפתח עצמו מציין שהוא רואה בו שיפור קל לעומת הגרסאות הקודמות ולעומת Hanami-x1, כשהדגש המרכזי בפיתוח ממשיך להיות תחומים יצירתיים וניהול שיחות עמוקות.

בניגוד לפתרונות מהירים של מיזוג משקלים, אימון מלא על בסיס 70B נותן בדרך כלל התנהגות עקבית יותר לאורך טקסטים ארוכים. הכרטיס לא כולל מדדי ביצועים רשמיים או מבחנים השוואתיים, אלא נשען על הכיוונון של היוצר לתגובות טבעיות ופחות רובוטיות.

מתאים ל

  • משחקי תפקידים ושיחה

    הוא אומן במיוחד לצ'אטים מורכבים ואינטראקציות עמוקות שדורשות שפה טבעית יותר מהבסיס של מטא.

  • כתיבה יצירתית ארוכה

    אימון מלא על 70B בשילוב חלון הקשר רחב מאפשר לשמור על סגנון כתיבה עשיר בטקסטים ממושכים.

  • חלופה לגרסאות קודמות

    החלפה ישירה למי שכבר בנה זרימות עבודה סביב Euryale v2.2 ומחפש שיפור קל על בסיס עדכני.

איפה זה נופל

הכרטיס לא מספק שום מידע על מבחני ביצועים, דאטה־סטים מדויקים או ציונים מוכחים מול מודלים אחרים. היוצר מודה בעצמו שהוא לא בדק דוגמים מתקדמים ושאיכות התוצאה תלויה בעיקר בהנחיית המערכת שתכתבו, כך שצריך לבדוק טוב מאוד את העקביות והדיוק לפני שסומכים עליו במוצר.

שאלות
נפוצות

האם הוא מגיע מקוונטט ומוכן לכרטיס מסך ביתי?

לא. הקבצים בעמוד הם בפורמט המקורי ותופסים מעל מאה ושלושים גיגה. להרצה על כרטיס ביתי יחיד תצטרכו למצוא המרות קהילתיות או לכווץ אותו לבד.

במה הוא שונה מגרסת הבסיס של לאמה?

הוא עבר אימון נוסף שמתמקד בשיחות ובתכנים יצירתיים. מטרת האימון היא לייצר סגנון פחות רשמי ונוקשה מהאינסטראקט הרגיל של מטא.

איך מריצים

במשקל מקורי של 131 גיגה בייט בדיוק של bfloat16, להריץ אותו מקומית דורש חומרה רצינית מאוד. תצטרכו לפחות שני כרטיסי A100 או H100 עם 80 גיגה זיכרון כדי לטעון אותו ולהשאיר מקום לחלון הקשר סביר, או לחכות לגרסאות מכווצות שרצות על פחות זיכרון.

אם אין לכם שרת ייעודי זמין, עדיף להשתמש בנקודת קצה בענן שמאחסנת אותו לפי דרישה. הגדרות הדגימה שהמפתח ממליץ עליהן כוללות טמפרטורה יחסית גבוהה של 1.1 יחד עם min_p של 0.1, תוך שימוש בפורמט ההוראות המקורי של לאמה 3.

from transformers import pipeline

pipe = pipeline("text-generation", model="Sao10K/L3.3-70B-Euryale-v2.3")
print(pipe("שלום"))

הקבצים

39 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון llama3 של מטא. הרישיון מאפשר שימוש מסחרי כל עוד אין לכם מעל שבע מאות מיליון משתמשים פעילים בחודש, ומחייב לשמור על תנאי השימוש המקוריים, כולל הגבלות על שימושים פוגעניים ואיסור לאמן מודלים מתחרים.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗