GPT
הוספת כלי
Y

YanoljaNEXT-EEVE-Instruct-10.8B

קוד פתוח

yanoljaapache-2.02024-02-22

  • transformers
  • safetensors
  • llama
  • text-generation
  • generated_from_trainer

גרסה ממוקדת קוריאנית של סולאר שמציעה אימון ייעודי למשימות שיחה. כדאי לבדוק אותה בעיקר כשחייבים מודל פתוח שמבין קוריאנית לעומק ולא נחנק מחלוקת טוקנים לא יעילה.

  • 11Bפרמטרים
  • 4,096טוקנים בהקשר
  • 20.1 GBמשקל הקבצים
  • 17,021הורדות בחודש

מה זה

מדובר במודל שמבוסס על SOLAR-10.7B, שעבר הרחבת אוצר מילים ייעודית לקוריאנית ולאחר מכן אימון הנחיות והעדפות מסוג DPO עם הכלי Axolotl. היוצרים לקחו סטים מוכרים כמו SlimOrca-Dedup וגרסה של UltraFeedback, תרגמו אותם לקוריאנית, ואימנו עליהם בלבד ללא דאטהסטים נוספים.

התוצאות במבחני הלידרבורד הכלליים מציגות ממוצע של 66.48 נקודות. הביצועים הבולטים מגיעים בבדיקות ידע כללי והגיון טקסטואלי, עם 83.04 ב־HellaSwag ו־81.93 ב־Winogrande. עם זאת, הוא נשאר חלש יחסית בחישובים מתמטיים מרובי שלבים עם 50.72 בלבד ב־GSM8k, ודיוק עובדתי בסיסי של 54.09 ב־TruthfulQA, מה שמציב אותו ברמה המוכרת של מודלים בגודל 11 מיליארד פרמטרים.

מתאים ל

  • עוזר שיחה בקוריאנית

    התאמת אוצר המילים ואימון ה־DPO מכוונים בדיוק לתקשורת שוטפת והבנת הנחיות בקוריאנית.

  • סיווג טקסטים בקוריאנית

    הבסיס של SOLAR והרחבת הטוקנייזר מאפשרים ניתוח תוכן קוריאני עם יעילות טוקנים גבוהה.

  • בדיקת הרחבת אוצר מילים

    הוא מציג יישום מעשי של מאמר מחקרי על התאמת מודלים קיימים לשפות חדשות.

איפה זה נופל

האימון כולו נשען על נתונים מתורגמים לקוריאנית בלבד. אם הדרישה שלכם כוללת עברית, המודל הזה פשוט לא מיועד לכך ואין לצפות ממנו להבנה שפתית או לפלט סביר.

חלון ההקשר מוגבל ל־4,096 טוקנים, שזה מעט מאוד למשימות RAG מודרניות או סיכום מסמכים ארוכים. בנוסף, הציון של 50.72 ב־GSM8k מראה שהוא נוטה להמציא פתרונות כשמבקשים ממנו לפתור בעיות היגיון מורכבות או חישובים מספריים.

אותה משפחה

YanoljaNEXT-EEVE יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

YanoljaNEXT-EEVE-10.8B642

שאלות
נפוצות

האם המודל תומך בעברית?

לא. המודל אומן והותאם ספציפית לקוריאנית על בסיס דאטהסטים מתורגמים, ואין לו אימון ייעודי לעברית. לשימוש בעברית כדאי לחפש מודלים אחרים.

איזה פורמט קלט המודל מצפה לקבל?

הוא אומן על תבנית פרומפט קבועה מראש שמתחילה במשפט מערכת באנגלית, ולאחר מכן Human ו־Assistant. חובה להשתמש במבנה הזה בדיוק כדי לקבל תוצאות טובות.

אפשר להריץ אותו על מחשב אישי רגיל?

לא במצבו הגולמי. 20.1 גיגה של משקולות דורשים מעל 24 גיגה VRAM להרצה חלקה, כך שזה לא יעבוד על לפטופים סטנדרטיים בלי קוונטיזציה קיצונית.

איך מריצים

כדי להריץ אותו מקומית בדיוק המקורי של bfloat16 תצטרכו כרטיס מסך עם לפחות 24 גיגה זיכרון גרפי, כמו RTX 3090 או A10G, מאחר שמשקל הקבצים לבדו תופס מעל 20 גיגה. אם תרצו לשרת משתמשים עם חלון הקשר מלא של 4,096 טוקנים, תזדקקו לכרטיס חזק עוד יותר או לכיווץ בקוונטיזציה.

אם אין לכם כרטיס כזה זמין בשרת, להרים מכונה ייעודית בענן בשביל מודל אחד זה עסק לא זול. במקרה של ניסויים ראשוניים או עומס משתנה, פנייה לשירותי ענן שמציעים מודלים פתוחים לפי שימוש תחסוך כאב ראש של ניהול חומרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="yanolja/YanoljaNEXT-EEVE-Instruct-10.8B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 20.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו מחדש או לשלב אותו בתוך מוצר סגור, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗