GPT
הוספת כלי
E

EXAONE-3.5-32B-Instruct

קוד פתוח

LGAI-EXAONEother2024-12-01

  • transformers
  • safetensors
  • exaone
  • text-generation
  • lg-ai

גרסה בגודל 32 מיליארד פרמטרים מבית LG שמתמקדת באנגלית וקוריאנית. הבחירה בה הגיונית רק אם אתם צריכים ביצועים גבוהים בשילוב השפות הזה.

  • 32Bפרמטרים
  • 32,768טוקנים בהקשר
  • 119 GBמשקל הקבצים
  • 32,003הורדות בחודש

מה זה

מדובר במודל שיחה דו לשוני של חברת LG שנבנה לעבודה מול אנגלית וקוריאנית, עם חלון הקשר של 32 אלף טוקנים וארכיטקטורת GQA שמקלה מעט על צריכת הזיכרון. הוא מתמודד מול משקלים דומים בקטגוריה כמו Qwen 2.5 או Command R, ומכוון לתרחישי שיחה והבנת הוראות מורכבות.

במבחני ביצועים כמו Arena-Hard ו־AlpacaEval הוא מציג ציונים גבוהים יותר מהמתחרים שלו בגודל הזה, מה שמעיד על יכולת טובה במעקב אחרי הנחיות באנגלית. מנגד, במבחן LiveBench המודל של Qwen עדיין עוקף אותו בפער ניכר, כך שלא מדובר בהובלה גורפת בכל מדד יכולת.

מתאים ל

  • עיבוד מסמכים בקוריאנית

    ניתוח וסיכום טקסטים ארוכים עד 32 אלף טוקנים המשלבים קוריאנית ואנגלית.

  • בדיקת איכות הנחיות

    מערכי ניסוי מקומיים שדורשים מעקב קפדני אחרי הוראות מורכבות ללא שימוש מסחרי.

  • מחקר על מודלים דו לשוניים

    בחינת יכולות ארכיטקטורת Exaone מול מודלים מקבילים בגודל 32 מיליארד פרמטרים.

איפה זה נופל

המודל אומן באופן מובהק לשתי שפות בלבד, אנגלית וקוריאנית, ולכן הוא לא מתאים לפרויקטים בעברית או בשפות אחרות. הכרטיס מודה מפורשות בבעיות של יצירת תוכן מוטה, שגיאות תחביריות שמקורן בסטטיסטיקת האימון, והזיות עובדתיות בגלל חוסר במידע עדכני. נקודה קריטית נוספת היא התלות הגבוהה בפרומפט מערכת מוגדר מראש, שבלעדיו איכות השיחה והתשובות יורדת.

אותה משפחה

EXAONE-3.5 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

EXAONE-3.5-7.8B-Instruct370,104 EXAONE-3.5-2.4B-Instruct70,642 EXAONE-3.5-7.8B-Instruct-GGUF1,223 EXAONE-3.5-2.4B-Instruct-GGUF747

שאלות
נפוצות

האם כדאי לבנות על המודל הזה למוצר ישראלי בעברית?

לא. המודל אומן בצורה ממוקדת על אנגלית וקוריאנית בלבד, והוא לא יספק תוצאות שמישות בעברית. עדיף לבחור במודלים רב לשוניים רחבים יותר כמו Llama או Qwen.

האם אפשר להריץ את הקבצים המקוריים כמו שהם על מחשב פיתוח רגיל?

בשום אופן לא. המשקל המקורי תופס 119 ג'יגה בייט בדיוק float32 ודורש משאבי זיכרון וידאו עצומים. כדי להריץ מקומית חובה להוריד גרסה מקוונטטת בפורמט GGUF דרך Ollama או llama.cpp.

איך מריצים

המשקל המקורי מגיע בפורמט float32 ושוקל 119 ג'יגה בייט על פני 41 קבצים, מה שהופך הרצה ישירה שלו לחסרת היגיון על שרת יחיד בלי שרשור מאיצים. כדי לעבוד איתו צריך לעבור מיד לגרסאות מקוונטטות בפורמט AWQ או GGUF דרך ספריות כמו vLLM, TensorRT-LLM או Ollama, וגם אז תידרש חומרה ברמה של מאיץ A100 או זוג כרטיסי RTX 4090.

אם אין לכם תשתית כזו פנויה, הרצה עצמית של מודל 32B תעלה יותר מזמן פיתוח מבוזבז וחשמל. במקרה כזה עדיף לפנות ישירות לשירות ענן או לספק API מסחרי.

from transformers import pipeline

pipe = pipeline("text-generation", model="LGAI-EXAONE/EXAONE-3.5-32B-Instruct")
print(pipe("שלום"))

הקבצים

41 קבצים במאגר, 119 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת הסכם ייעודי בשם EXAONE AI Model License Agreement 1.1 בעל סיומת NC. המשמעות ברורה, השימוש במודל מוגבל למטרות מחקר ולא מסחריות בלבד, כך שאי אפשר לשלב אותו במוצר רווחי או בשירות בתשלום בלי הסדר נפרד מול LG.

הרישיון המלא בעמוד המודל ↗