GPT
הוספת כלי
E

EXAONE-Deep-7.8B

קוד פתוח

LGAI-EXAONEother2025-03-12

  • transformers
  • safetensors
  • exaone
  • text-generation
  • lg-ai

מודל חשיבה קומפקטי שמציג תוצאות מפתיעות במתמטיקה ובקוד יחסית לגודלו. הוא מיועד למי שמחפש יכולת היסק עמוקה בלי להחזיק שרת כבד.

  • 7.8Bפרמטרים
  • 32,768טוקנים בהקשר
  • 14.6 GBמשקל הקבצים
  • 1,026הורדות בחודש

מה זה

מדובר במודל שמגיע מבית LG AI Research, והוא מכוון ישירות למשימות חשיבה מורכבות, מתמטיקה ותכנות. הדגש כאן הוא על יצירת שלבי מחשבה מפורטים לפני שליפת התשובה הסופית, בדומה לסגנון הפעולה שראינו במודלי היסק אחרים.

על הנייר, הביצועים שלו חריגים לקטגוריית המשקל שלו. במבחני מתמטיקה כמו MATH-500 ו־AIME 2024, הוא מציג דיוק שעוקף גרסאות מזוקקות מתחרות בגודל 7B ו־8B של DeepSeek, ואפילו מתעלה על תוצאות ה־pass@1 של o1-mini הסגור. במדד Live Code Bench הוא מגיע ל־55.2 נקודות, פער משמעותי מול מודלים פתוחים מקבילים, מה שאומר שהוא יודע לפתור בעיות אלגוריתמיות אמיתיות ולא רק להקיא קוד בסיסי.

מתאים ל

  • פתרון בעיות מתמטיקה

    הוא מגיע ל־94.8 במבחן MATH-500, ציון שמתחרה ישירות במודלים מסחריים וגדולים ממנו בהרבה.

  • פתרון באגים ואלגוריתמים

    עם תוצאה של 55.2 ב־Live Code Bench, הוא מצטיין בניתוח לוגי של קוד מורכב על גבי חומרה מקומית.

  • מחקר ובדיקות היסק

    הוא מאפשר לבחון שרשראות חשיבה ארוכות בעלות חומרה נמוכה יחסית ובפורמטים פתוחים.

איפה זה נופל

היוצרים מזהירים מפני פלט שגוי תחבירית או סמנטית, נטייה להטיות חברתיות והזיות שנשענות על נתונים סטטיסטיים ישנים. המודל תומך רשמית רק באנגלית ובקוריאנית, כך שעברית לא נמצאת בטווח האימון הרשמי וסביר להניח שתניב תוצאות שבורות. מעבר לכך, התפעול שלו רגיש מאוד. חייבים להפעיל אותו עם תגית מחשבה פותחת כדי לא לפגוע באיכות, אסור להשתמש ב־system prompt ויש להעביר הוראות דרך ה־user בלבד, ושלבי החשיבה מנפחים את כמות הטוקנים ומחייבים ניקוי היסטוריה בשיחות מרובות שלבים.

אותה משפחה

EXAONE-Deep יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

EXAONE-Deep-2.4B933 EXAONE-Deep-32B537 EXAONE-Deep-7.8B-GGUF358 EXAONE-Deep-32B-GGUF137

שאלות
נפוצות

האם כדאי להשתמש בו ליישומים בעברית?

לא. המודל אומן והוגדר רשמית עבור אנגלית וקוריאנית בלבד. כל ניסיון לייצר איתו טקסט בעברית עלול להוביל לפלט משובש, חוסר הבנה של הנחיות וביצועים ירודים מאוד.

איך צריך לבנות את הפרומפט כדי לקבל את הביצועים המובטחים?

הכרטיס מדגיש שאין להשתמש ב־system prompt אלא לכתוב את כל ההנחיות בתוך ה־user prompt. בנוסף, חובה לוודא שהייצור מתחיל בתגית thought ולהוסיף בקשה מפורשת לחשיבה צעד אחר צעד.

איך מריצים

המשקל המלא של הקבצים עומד על 14.6 גיגה-בייט בפורמט bfloat16. כדי להריץ אותו בצורה מקורית תצטרכו כרטיס מסך בודד עם לפחות 24 גיגה זיכרון כדי להשאיר מקום לטוקנים של שלבי החשיבה ולחלון הקשר של 32k. הוא נתמך בספריות סטנדרטיות כמו transformers מגרסה 4.43.1 ומעלה, וכן במנועים כמו vLLM, SGLang, TensorRT-LLM, llama.cpp ו־Ollama.

יש למודל גם גרסאות מכווצות בפורמטים כמו AWQ ו־GGUF, מה שמאפשר להוריד את דרישות החומרה לכרטיסים צנועים יותר או למעבדי מחשב אישי. אם אתם צריכים רק שאילתות מזדמנות ומחפשים קריאת API פשוטה בלי לנהל תשתית, החזקת שרת ייעודי למודל כזה לא תשתלם לכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="LGAI-EXAONE/EXAONE-Deep-7.8B")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 14.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח מבוסס על הסכם ייעודי בשם EXAONE AI Model License Agreement 1.1 - NC. האותיות NC מסמנות בבירור שמדובר ברישיון לא-מסחרי. המשמעות פשוטה: מותר להשתמש בו למחקר, בדיקות ופיתוח פנימי, אבל אי אפשר לשלב אותו במוצר מסחרי, בשירות בתשלום או באפליקציה שמניבה הכנסות.

הרישיון המלא בעמוד המודל ↗