GPT
הוספת כלי
L

L3-70B-Euryale-v2.1

קוד פתוח

Sao10Kcc-by-nc-4.02024-06-11

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

גרסת 70B שנבנתה למשחקי תפקידים וכתיבה יצירתית ללא הגבלות. היא מתאימה למי שמחפש הבנה מרחבית עמוקה ויכולת מעקב אחרי פורמטים מורכבים.

  • 71Bפרמטרים
  • 8,192טוקנים בהקשר
  • 263 GBמשקל הקבצים
  • 197הורדות בחודש

מה זה

מדובר בכיוונון LoRA על בסיס Llama 3 בגודל 70 מיליארד פרמטרים, שפותח כגרסה מוגדלת למודל Stheno תוך שימוש באותו מאגר נתונים. המפתח אימן אותו על שרת של שמונה מאיצי H100 כדי לעקוף את המגבלות של מודלים קטנים יותר בתחום העלילתי. המטרה כאן היא לייצר אינטראקציות עשירות שלא נתקלות בסירובים או צנזורה בזמן כתיבה יוצרת.

בדיקות היוצר מראות שיפור מורגש בהבנה של אנטומיה, מודעות מרחבית והיצמדות להוראות מורכבות ביחס למודלי 8B. הוא מתמודד טוב יותר עם תבניות תגובה מותאמות אישית ומציע מגוון רחב של כיווני עלילה בכל יצירה מחדש. הגודל הזה מעניק לו תפיסה טובה של ניואנסים עלילתיים ורמזים דקים, שלרוב הולכים לאיבוד במודלים קטנים יותר מאותה משפחה.

מתאים ל

  • משחקי תפקידים מורכבים

    הוא תוכנן במיוחד לעלילות חופשיות בלי סירובים ומחזיק הבנה אנטומית טובה.

  • כתיבת דיאלוגים באנגלית

    הגודל שלו מאפשר לו לקלוט סאבטקסט וניואנסים שמודלים קטנים מפספסים.

  • עבודה עם פורמטים נוקשים

    הוא ממושמע ונצמד לתבניות תגובה ייחודיות שהוגדרו מראש בפרומפט.

איפה זה נופל

המודל אומן רק באנגלית, כך שאין מה לבנות עליו לעברית. בנוסף, חלון ההקשר עומד על 8,192 טוקנים בלבד, מה שמגביל מאוד שיחות ארוכות או שמירה של עולם תוכן מורכב לאורך זמן בלי למחוק זיכרון ישן. היוצר גם מציין שמדובר בכיוונון LoRA ולא באימון מלא של כל המשקלים, בחירה שנבעה מעלויות כספיות.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה למוצר מסחרי?

לא. הרישיון אוסר במפורש כל שימוש מסחרי, כך שהוא מיועד אך ורק לפרויקטים אישיים, ניסויים ומחקר עצמאי.

האם כדאי להריץ אותו על כרטיס מסך ביתי בודד?

במשקלו המקורי הוא דורש 263 גיגה בייט של זיכרון ולא ייכנס לשום חומרה ביתית. רק קוונטיזציה כבדה תאפשר דחיסה למערכות אישיות חזקות, וגם אז הביצועים עלולים להיות איטיים.

איך מריצים

המשקל המלא בפורמט המקורי תופס 263 גיגה בייט ומחולק לעשרות קבצים, כך שאין טעם לנסות להריץ אותו ככה במחשב ביתי. כדי לעבוד איתו מקומית בלי לחבר שני כרטיסי A100 או מאיצים מקצועיים יקרים, תצטרכו להמתין או לייצר גרסה מכווצת בפורמט כמו GGUF או EXL2.

אם אתם לא מחזיקים שרת ייעודי שרץ כל היום, עדיף בהרבה לפנות לספקי ענן שמוכרים גישה למודל הזה לפי טוקנים. זה יחסוך את עלויות החומרה וההתעסקות עם הגדרות הדגימה המומלצות, שכוללות טמפרטורה גבוהה של 1.17 ומנגנון min p שנקבע על 0.075.

from transformers import pipeline

pipe = pipeline("text-generation", model="Sao10K/L3-70B-Euryale-v2.1")
print(pipe("שלום"))

הקבצים

70 קבצים במאגר, 263 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות ברורה וחדה, אין כאן שום היתר לשימוש מסחרי. מותר להוריד, לשנות, לחקור ולהריץ לצרכים אישיים בלבד. אם יש לכם מוצר שמייצר הכנסה או שירות בתשלום, אסור לכם לשלב בו את הקבצים האלה.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗