GPT
הוספת כלי
E

EXAONE-3.5-7.8B-Instruct

קוד פתוח

LGAI-EXAONEother2024-12-01

  • transformers
  • safetensors
  • exaone
  • text-generation
  • lg-ai

מודל שיחה דו לשוני באנגלית וקוריאנית של מעבדות LG שמיועד למי שצריך תוצאות חזקות במשימות מעשיות בגודל קומפקטי יחסית של כמעט שמונה מיליארד פרמטרים.

  • 7.8Bפרמטרים
  • 32,768טוקנים בהקשר
  • 29.1 GBמשקל הקבצים
  • 370,104הורדות בחודש

מה זה

מדובר במודל שיחה מכוונן הוראות שנבנה לעבודה מול טקסטים באנגלית ובקוריאנית, עם חלון הקשר שמגיע ל־32,768 טוקנים. הוא פותח על ידי LG AI Research כחלק מסדרה של מודלים בגדלים שונים, כשהגרסה הזו יושבת על 7.8 מיליארד פרמטרים. המאפיין הבולט שלו הוא מיקוד בשימושים מעשיים ולא רק במבחנים תיאורטיים.

בבדיקות הביצועים שפורסמו הוא מציג מספרים גבוהים מאוד ביחס למתחרים בגודל שלו כמו לאמה 3.1 או קוון 2.5, כולל ציון 68.7 ב־Arena-Hard ו־78.9 ב־IFEval. במבחנים בקוריאנית הוא מוביל בפער ברור, אבל גם באנגלית התוצאות מצביעות על יכולת גבוהה במיוחד בהבנת הוראות מורכבות ומעקב אחרי דרישות קפדניות של פורמט.

מתאים ל

  • עיבוד טקסטים ארוכים באנגלית

    חלון של 32 אלף טוקנים מאפשר ניתוח מסמכים ומחקרים ארוכים ביעילות גבוהה.

  • פיתוח אפליקציות לשוק הקוריאני

    המודל מוביל בבדיקות כמו KoMT-Bench ומתאים במיוחד לעבודה דו לשונית.

  • מעקב אחר הוראות מובנות

    ציון IFEval גבוה הופך אותו לפתרון מוצלח לייצור פלטים בפורמט קפדני.

איפה זה נופל

המודל מוגדר רשמית כדו לשוני בלבד, לאנגלית ולקוריאנית. אין לו הכשרה ייעודית בעברית, ולכן ניסיון לעבוד איתו בשפה המקומית צפוי לייצר שיבושים או חוסר יציבות. מעבר לזה, המפתחים מודים שהתשובות עלולות לכלול הטיות בנושאי גיל, מגדר וגזע, לצד טעויות תחביריות או עובדתיות שנשענות על דפוסים סטטיסטיים ישנים. הוא אינו מחובר למידע עדכני ולא מתאים למשימות שדורשות נתונים מהימנים בזמן אמת.

אותה משפחה

EXAONE-3.5 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

EXAONE-3.5-2.4B-Instruct70,642 EXAONE-3.5-32B-Instruct32,003 EXAONE-3.5-7.8B-Instruct-GGUF1,223 EXAONE-3.5-2.4B-Instruct-GGUF747

שאלות
נפוצות

האם המודל הזה מתאים לפיתוח שירות מסחרי?

לא. הרישיון כולל הגבלת NC, כלומר שימוש לא מסחרי בלבד. אם המטרה היא להרוויח כסף מהמוצר, צריך לפנות ישירות למחקר של LG או לחפש מודל עם רישיון פתוח לחלוטין.

האם אפשר להשתמש בו ליישומים בעברית?

לא מומלץ. הוא אומן מראש אך ורק על אנגלית וקוריאנית. בעברית הוא כנראה ייצר שגיאות תחביר והזיות, ואי אפשר להסתמך עליו במוצר מקומי.

האם חייבים 30 ג׳יגה בייט של כרטיס מסך כדי להשתמש בו?

רק אם מריצים את המשקלים הגולמיים ב־float32. המפתחים הוציאו גם גרסאות מקוונטטות של AWQ ו־GGUF שמאפשרות הרצה מקומית על כרטיסי מסך צרכניים קטנים בהרבה דרך Ollama או llama.cpp.

איך מריצים

המשקל המקורי מגיע בפורמט float32 ושוקל 29.1 ג׳יגה בייט ב־21 קבצים, מה שדורש כרטיס גרפי חזק מאוד עם לפחות 32 ג׳יגה בייט זיכרון רק כדי לטעון אותו ישירות דרך ספריית transformers. מפתחים שלא רוצים להחזיק שרת יקר כזה יעדיפו לחפש את גרסאות ה־AWQ או ה־GGUF שהמפתחים פרסמו במקביל.

אפשר להריץ אותו ישירות בסביבות פופולריות כמו vLLM, TensorRT-LLM, llama.cpp ו־Ollama. המפתחים מדגישים שהמודל אומן להסתמך על תבנית ה־system prompt הספציפית שהם הגדירו, ולכן הרצה בלי הפרומפט המומלץ תפגע באיכות התשובות.

from transformers import pipeline

pipe = pipeline("text-generation", model="LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 29.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת הסכם קנייני בשם EXAONE AI Model License Agreement 1.1 NC, כאשר הסיומת מבהירה שמדובר ברישיון לא מסחרי. אי אפשר לשלב אותו במוצר שמייצר הכנסות או להשתמש בו לצרכים עסקיים מסחריים בלי הסדרה ישירה מול LG.

הרישיון המלא בעמוד המודל ↗