GPT
הוספת כלי
E

EXAONE-Deep-32B

קוד פתוח

LGAI-EXAONEother2025-03-12

  • transformers
  • safetensors
  • exaone
  • text-generation
  • lg-ai

מודל הסקת מסקנות של LG בגודל 32B שמתחרה ישירות ב־QwQ וב־DeepSeek R1. הוא מיועד למי שצריך פתרון בעיות מתמטיקה וקוד מורכבות בקוריאנית או באנגלית.

  • 32Bפרמטרים
  • 32,768טוקנים בהקשר
  • 59.6 GBמשקל הקבצים
  • 537הורדות בחודש

מה זה

LG AI Research שחררו מודל חשיבה שמייצר תהליך מחשבה מלא בין תגיות ייעודיות לפני שהוא פולט תשובה סופית. הוא אומן בעיקר על אנגלית וקוריאנית, ומציג ארכיטקטורה של 64 שכבות עם מנגנון GQA שמייעל את תעבורת הזיכרון בזמן ריצה.

במבחני ביצועים המודל מציג תוצאות חזקות. במבחן המתמטיקה CSAT 2025 הוא קיבל 94.5 נקודות ועקף את DeepSeek-R1-Distill-Qwen-32B שקיבל 84.1. במבחן הקוד Live Code Bench הוא מגיע ל־59.5, שזה מעט מתחת ל־QwQ-32B שמחזיק ב־63.4, אבל מעל גרסאות הדיסטילציה של דיפסיק באותו סדר גודל.

מתאים ל

  • פתרון בעיות מתמטיקה

    הוא מגיע לתוצאה של 95.7 במבחן MATH-500 ומשתמש בחשיבה שלב אחר שלב עם סימון תשובה סופית.

  • הסבת קוד ובדיקות אלגוריתמיות

    עם ציון 59.5 ב־Live Code Bench הוא מספק ניתוח מעמיק לתחרויות תכנות ולוגיקה מורכבת.

  • משימות חשיבה בקוריאנית

    הוא נבנה מראש לתמיכה מלאה בקוריאנית ומוביל במבחן CSAT Math המקומי על פני מתחרים מערביים.

איפה זה נופל

המודל מוגדר רשמית רק לאנגלית וקוריאנית, כך שאין כאן התאמה לשפות אחרות. חלון ההקשר מוגבל ל־32,768 טוקנים, וזה נמוך משמעותית מסטנדרטים חדשים של מאות אלפי טוקנים, במיוחד כששלבי המחשבה שלו ארוכים ותופסים חלק ניכר מההקשר. היצרן מודה שהתשובות עלולות לכלול הטיות, מידע שגוי תחבירית או עובדתית, ותוכן לא מעודכן. חובה גם לוודא שהפרומפט מייצר את תגית הפתיחה של המחשבה, אחרת איכות הפלט יורדת.

אותה משפחה

EXAONE-Deep יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

EXAONE-Deep-7.8B1,026 EXAONE-Deep-2.4B933 EXAONE-Deep-7.8B-GGUF358 EXAONE-Deep-32B-GGUF137

שאלות
נפוצות

איך שומרים על חלון ההקשר בשיחה מרובת שלבים?

המודל מייצר המון טוקנים בתוך תגיות המחשבה בכל תשובה, מה שעלול לסתום את 32 אלף הטוקנים הזמינים. הטוקנייזר הרשמי מוחק אוטומטית את שלבי החשיבה מהתורות הקודמים ומשאיר רק את התשובות הסופיות בהיסטוריה.

האם אפשר להשתמש ב־system prompt רגיל?

עדיף שלא. ההנחיה של LG היא להימנע מ־system prompt ולשלב את כל ההגדרות וההוראות ישירות בתוך הפנייה של המשתמש, כולל בקשה מפורשת לחשוב צעד אחר צעד.

האם המודל מתאים למוצר מסחרי פעיל?

לא. הרישיון כולל סעיף NC שאינו מתיר שימוש מסחרי. תוכלו לבדוק אותו מקומית למחקר, אבל למוצר שנמכר ללקוחות תצטרכו לפנות ל־LG או לבחור מודל פתוח אחר.

איך מריצים

המשקלים המקוריים שוקלים 59.6 ג'יגה בייט בדיוק bfloat16 ומחולקים ל־29 קבצים. כדי להריץ אותם בלי קוונטיזציה תצטרכו שרת עם שני כרטיסי A100 או H100 של 80GB, או כרטיס בודד שמריץ גרסת AWQ או GGUF שפורסמו עבור llama.cpp ו־Ollama.

המפתחים ממליצים לעבוד עם transformers מגרסה 4.43.1 ומעלה, לקבוע טמפרטורה של 0.6 ולבנות את ההוראות בתוך ה־user prompt במקום להשתמש ב־system prompt. אם אין לכם גישה לשרת ייעודי חזק, הרצה עצמית של הגודל הזה תהיה אטית ומסורבלת בהשוואה לקריאת API.

from transformers import pipeline

pipe = pipeline("text-generation", model="LGAI-EXAONE/EXAONE-Deep-32B")
print(pipe("שלום"))

הקבצים

29 קבצים במאגר, 59.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת הסכם ייעודי בשם EXAONE AI Model License Agreement 1.1 - NC. התוספת NC מסמנת Non-Commercial, כלומר השימוש מוגבל למחקר ולהתנסות בלבד. אסור לשלב את המשקלים במוצר מסחרי, למכור שירותים שמתבססים עליהם או להפיק מהם רווח ישיר בלי להסדיר רישוי מול LG.

הרישיון המלא בעמוד המודל ↗