EXAONE-3.5-7.8B-Instruct-GGUF

קוד פתוח

LGAI-EXAONEother2024-12-01

transformers
gguf
lg-ai
exaone
exaone-3.5

גרסת GGUF למודל של LG שמתמקד באנגלית וקוריאנית עם חלון הקשר של 32 אלף טוקנים. הוא מיועד למי שמחפש להריץ מקומית מודל בינוני למשימות טקסט ארוכות בשפות האלו.

42.0 GBמשקל הקבצים
1,223הורדות בחודש
42לייקים

מה זה

מדובר במודל שיחה שפותח על ידי מחלקת המחקר של LG ומכיל 7.8 מיליארד פרמטרים, מתוכם כמעט שבעה מיליארד ללא שכבות ההטמעה. הוא עבר כוונון להוראות ותומך בהקשר ארוך של עד 32,768 טוקנים, מה שמתאים לעיבוד מסמכים כבדים בלי לחתוך אותם לחתיכות קטנות.

הייחוד כאן הוא המיקוד הדו לשוני המובהק באנגלית ובקוריאנית. בריפו הנוכחי המודל מוגש בקובצי GGUF מכווצים בכמה רמות דיוק שונות, כולל BF16 מלא, מה שמאפשר להריץ אותו ישירות דרך מעבדים רגילים או כרטיסי מסך ביתיים בלי להתעסק בהמרות משקל עצמאיות.

מתאים ל

עיבוד מסמכים ארוכים באנגלית
חלון הקשר של 32K מאפשר ניתוח, תמצות ושאילתות על טקסטים רחבים בלי לקטוע את המידע.
עבודה עם טקסטים בקוריאנית
המודל אומן באופן ייעודי על השפה ומספק תוצאות עקביות יותר ממודלים כלליים בקטגוריית הגודל שלו.
הרצה מקומית על חומרה צנועה
גרסאות ה־GGUF המכווצות מאפשרות להפעיל את המודל על מעבדים ביתיים וכרטיסי מסך סטנדרטיים.

איפה זה נופל

המודל מוגבל לשתי שפות בלבד, אנגלית וקוריאנית, ולא הוכשר לעבודה בעברית. הכרטיס מודה בפירוש שהתשובות מבוססות על סטטיסטיקה מנתוני האימון ולכן עשויות לכלול שגיאות תחביריות או לוגיות, מידע מיושן והטיות של גיל, מגדר או גזע. אם המסמכים שלכם כוללים שפות נוספות או דורשים ידע עדכני, הוא יטעה או ימציא עובדות, וצריך לבדוק היטב את הפלטים שלו לפני שמשלבים אותו בזרימת עבודה אמיתית.

אותה משפחה

EXAONE-3.5 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

EXAONE-3.5-7.8B-Instruct370,104 EXAONE-3.5-2.4B-Instruct70,642 EXAONE-3.5-32B-Instruct32,003 EXAONE-3.5-2.4B-Instruct-GGUF747

שאלות
נפוצות

האם המודל תומך בעבודה ושיחה בעברית?

לא. המודל אומן ותוכנן ספציפית כשפה דו לשונית עבור אנגלית וקוריאנית בלבד. הוא לא יזהה עברית בצורה תקינה ולא יחזיר פלטים הגיוניים בשפה זו.

איזו גרסת כימוס כדאי להוריד מתוך הקבצים?

לרוב המשתמשים מומלץ להתחיל עם Q4_K_M שמספקת איזון טוב בין שמירה על דיוק לבין צריכת זיכרון נמוכה. אם יש לכם כרטיס מסך מרווח אפשר לבחור ב־Q8_0 או BF16, ועבור מכשירים מוגבלים מאוד קיימת גרסת IQ4_XS.

האם אפשר להשתמש במודל הזה בתוך מוצר מסחרי?

לא באופן ישיר. הרישיון של המודל כולל תנאי NC שמגביל אותו למטרות לא מסחריות, כמו מחקר או שימוש פרטי, ואינו מתאים לפרויקטים מסחריים ללא אישור ייעודי.

איך מריצים

את הקבצים מריצים ישירות באמצעות כלי llama.cpp או סביבות כמו Ollama, vLLM ו־TensorRT-LLM. יש כאן מגוון רמות כימוס, החל מ־IQ4_XS ו־Q4_K_M הקלים שצורכים מעט זיכרון עבודה, דרך Q5_K_M ו־Q6_0, ועד ל־Q8_0 ומשקלי BF16 שמחייבים כרטיס מסך חזק יותר עם זיכרון וידאו ייעודי.

המפתחים מדגישים שהמודל אומן להסתמך על פרומפט מערכת קבוע שמגדיר אותו כעוזר של LG, ולכן מומלץ לא לוותר על השורה הזו בהגדרות הריצה. אם אתם לא צריכים שמירה מקומית על המידע ומחפשים רק לבדוק תגובות מהירות, עדיף להשתמש ב־API חיצוני במקום להוריד עשרות ג'יגה־בייט של קבצים.

ollama run hf.co/LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

BF1615.6 GB Q8_08.3 GB Q6_K6.4 GB Q5_K_M5.6 GB Q4_K_M4.8 GB IQ4_XS4.3 GB

הקבצים

10 קבצים במאגר, 42.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת הסכם ייעודי בשם EXAONE AI Model License Agreement 1.1 עם סיומת NC. הסיומת הזו מעידה על הגבלה לשימוש לא מסחרי בלבד. מי שמתכנן להטמיע את המודל במוצר רווחי, באפליקציה בתשלום או במערכת ארגונית פנימית שמייצרת ערך עסקי, לא יכול להשתמש בו באופן חופשי ויידרש להסדיר רישוי מול חברת LG.

הרישיון המלא בעמוד המודל ↗