GPT
הוספת כלי
E

EXAONE-3.5-2.4B-Instruct

קוד פתוח

LGAI-EXAONEother2024-12-01

  • transformers
  • safetensors
  • exaone
  • text-generation
  • lg-ai

מודל קל של LG עם 2.4 מיליארד פרמטרים וחלון הקשר של 32K. הוא נבנה למכשירים חלשים ומציג ביצועים מפתיעים באנגלית ובקוריאנית, אבל מגיע עם רישיון לא מסחרי.

  • 2.4Bפרמטרים
  • 32,768טוקנים בהקשר
  • 9.0 GBמשקל הקבצים
  • 70,642הורדות בחודש

מה זה

LG שחררה את המודל הזה כחלק ממשפחת גרסאות שמגיעה עד 32 מיליארד פרמטרים, כשהמטרה של הגרסה הזו היא לרוץ על חומרה מוגבלת. הוא דו-לשוני וממוקד באנגלית ובקוריאנית בלבד. עם חלון של 32,768 טוקנים ושימוש במנגנון GQA, הוא מצליח להתמודד עם טקסטים ארוכים בלי לקרוס בדרישות הזיכרון.

במבחני ביצועים שמדמים שימוש אמיתי, המודל מציג יתרון ברור על פני מתחרים ישירים כמו Qwen 2.5 3B ו־Llama 3.2 3B. ב־Arena-Hard הוא מוביל עם ציון 48.2 מול 26.4 של המתחרה מבית עליבאבא, וב־AlpacaEval הוא מגיע ל־37.1. המספרים האלה מראים שהוא יודע לעקוב אחרי הוראות מורכבות בצורה מדויקת יחסית לגודל שלו, במיוחד במשימות חשיבה ושיחה דו-שלבית.

מתאים ל

  • הרצה מקומית על מחשב קצה

    גודל של 2.4B מאפשר להריץ אותו מקומית ב־llama.cpp בלי צורך בכרטיס מסך יקר.

  • עיבוד מסמכים באנגלית

    תמיכה ב־32K טוקנים מאפשרת לקרוא קבצים ארוכים יחסית למודלים קטנים אחרים.

  • מערכות דו-לשוניות לקוריאה

    התמחות ייעודית בשפה הקוריאנית לצד אנגלית נותנת מענה מדויק למי שעובד מול השוק הזה.

איפה זה נופל

הבעיה המרכזית עבור מפתחים בארץ היא השפה. המודל אומן רק על אנגלית וקוריאנית, כך שעברית לא נתמכת כאן. בנוסף, החברה מודה בפירוש שהתשובות מבוססות על סטטיסטיקה בלבד, מה שגורם להזיות, שגיאות תחביריות, פליטת מידע מוטה בנושאי מגדר וגיל, וחוסר התאמה לעובדות עדכניות. חובה גם להשתמש ב־system prompt המדויק שהם הגדירו, אחרת איכות השיחה והמעקב אחרי הוראות נפגעים מיד.

אותה משפחה

EXAONE-3.5 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

EXAONE-3.5-7.8B-Instruct370,104 EXAONE-3.5-32B-Instruct32,003 EXAONE-3.5-7.8B-Instruct-GGUF1,223 EXAONE-3.5-2.4B-Instruct-GGUF747

שאלות
נפוצות

האם המודל מבין או מייצר עברית?

המודל אומן ונבדק אך ורק על אנגלית וקוריאנית. אין לו תמיכה רשמית בעברית, ולכן הוא לא מתאים לעיבוד טקסט או מענה בעברית.

האם צריך כרטיס מסך חזק כדי להריץ אותו?

ממש לא. בגרסאות GGUF או AWQ הוא דורש מעט מאוד זיכרון, ורץ בצורה חלקה גם על מעבדים פשוטים במחשבים ניידים דרך כלי הרצה קלים.

איך מריצים

המשקל המקורי בפורמט float32 תופס 9 ג'יגה-בייט, שזה כבד ומיותר לכרטיסי מסך ביתיים. בפועל לא מריצים אותו ככה. מורידים גרסאות מכווצות בפורמט GGUF או AWQ שהחברה מספקת, ואז הוא רץ בקלות על מעבד רגיל או מאיץ גרפי פשוט דרך Ollama או llama.cpp, וגם במערכות שרת כמו vLLM ו־TensorRT-LLM.

אם אתם צריכים רק לבדוק שאילתות בודדות או שאין לכם כוח לנהל סביבת הרצה, עדיף לפנות ל־API חיצוני. התקנה מקומית משתלמת רק אם יש צורך בעיבוד מקומי מטעמי פרטיות או שרוצים לשלב אותו ישירות בתוכנה שרצה אצל הלקוח.

from transformers import pipeline

pipe = pipeline("text-generation", model="LGAI-EXAONE/EXAONE-3.5-2.4B-Instruct")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 9.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא EXAONE AI Model License Agreement 1.1 - NC, והסיומת NC אומרת הכל. אסור להשתמש במודל הזה לצרכים מסחריים. אפשר לבדוק אותו, לפתח עליו במחקר או ללמוד איתו, אבל אי אפשר לשלב אותו במוצר שמייצר הכנסות או בפעילות עסקית שוטפת.

הרישיון המלא בעמוד המודל ↗