unsloth/LFM2-8B-A1B-GGUF
קוד פתוחunslothother2025-10-08
ארכיטקטורת תערובת מומחים שמפעילה רק מיליארד וחצי פרמטרים מתוך שמונה מיליארד. מקבלים יכולת של מודל קטן עם מהירות גבוהה במיוחד על חומרת קצה.
- 103 GBמשקל הקבצים
- 2,606הורדות בחודש
- 61לייקים
מה זה
מדובר בגרסת GGUF שהמירה חברת unsloth עבור המודל ההיברידי של Liquid AI. המבנה הפנימי משלב 18 שכבות קונבולוציה קצרות מסוג LIV עם שש שכבות קשב בלבד, מה שמוריד משמעותית את המעמסה החישובית בזמן יצירת הטקסט. סך הכל יש כאן 8.3 מיליארד פרמטרים, אבל בכל צעד נבחרים ופועלים רק 1.5 מיליארד.
במבחני ביצועים הוא עוקף מודלים דחוסים בגודל 3 עד 4 מיליארד פרמטרים. במתמטיקה הוא מציג 84.38 בציון GSM8K וציון של 74.2 בבחינת MATH 500, תוצאות שמציבות אותו מעל Llama-3.2-3B. בכתיבת קוד בסיסית הוא מקבל 69.51 ב־HumanEval פלוס, אך במבחן הקשה יותר LCB גרסה 6 הוא מגיע ל־21.04 בלבד, כך שלא מדובר בתחליף למתכנת.
מתאים ל
- הפעלת כלים וסוכנים
כולל תמיכה מובנית בתחביר קריאות לפונקציות בפייתון ופירוק תוצאות JSON.
- חילוץ מידע מקומי
רץ מהר מאוד על חומרת קצה עם חלון הקשר של 32,768 טוקנים לשליפת נתונים.
- שיחה ומענה מרובה תורות
צורך מעט זיכרון בזמן ריצה ומפיק טקסט בקצב מהיר בזכות מעבר דרך מעט פרמטרים.
איפה זה נופל
היוצרים מציינים במפורש שהמודל לא מתאים למשימות עתירות ידע או לכתיבת תוכנה מורכבת, והנתונים ב־LCB מאשרים זאת. בנוסף, חבילת השפות הרשמית לא כוללת עברית כלל אלא אנגלית, ערבית, סינית, צרפתית, גרמנית, יפנית, קוריאנית וספרדית. בלי אימון ייעודי, עבודה בעברית עלולה להניב פלט משובש או שגיאות תחביר קשות.
שאלות
נפוצות
האם המודל תומך בעברית?
עברית אינה מופיעה ברשימת השפות הנתמכות שפורסמה. הוא אומן בעיקר על אנגלית, שפות אירופאיות ומזרח אסייתיות, כך שביצועיו בעברית צפויים להיות נמוכים מאוד.
האם צריך להוריד את כל 103 הגיגה בייט?
לא. המשקל הכולל נובע מכך שיש 22 קבצים שונים של כימותים שונים. אתם בוחרים ומורידים רק קובץ GGUF יחיד ברמת הדחיסה שמתאימה למכשיר שלכם.
איך מריצים
בשביל להריץ אותו דרך llama.cpp חובה להוסיף את הדגל jinja כדי שהתבנית של השיחה תעבוד נכון. המאגר כולל 22 קבצים במשקל כולל של 103 גיגה בייט שמכילים דרגות כימות שונות, כך שאתם בוחרים קובץ בודד שמתאים למגבלות הזיכרון שלכם.
לגרסאות מכומתות מספיק מחשב נייד או מעבד מודרני בלי כרטיס מסך מפלצתי, שכן מופעלים רק 1.5 מיליארד פרמטרים בזמן ריצה. אם אתם צריכים רק מענה מהיר בייצור בלי להתעסק עם ניהול זיכרון ותמיכה בארכיטקטורות היברידיות חדשות, שווה לפנות לממשק הרשת שלהם.
ollama run hf.co/unsloth/LFM2-8B-A1B-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
22 קבצים במאגר, 103 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- LFM2-8B-A1B-BF16.gguf16.7 GB
- LFM2-8B-A1B-UD-Q8_K_XL.gguf9.0 GB
- LFM2-8B-A1B-Q8_0.gguf8.9 GB
- LFM2-8B-A1B-UD-Q6_K_XL.gguf6.9 GB
- LFM2-8B-A1B-Q6_K.gguf6.8 GB
- LFM2-8B-A1B-Q5_K_M.gguf5.9 GB
- LFM2-8B-A1B-UD-Q5_K_XL.gguf5.9 GB
- LFM2-8B-A1B-Q5_K_S.gguf5.8 GB
- LFM2-8B-A1B-Q4_1.gguf5.2 GB
- LFM2-8B-A1B-Q4_K_M.gguf5.0 GB
- LFM2-8B-A1B-Q4_K_S.gguf4.8 GB
- LFM2-8B-A1B-UD-Q4_K_XL.gguf4.7 GB
- LFM2-8B-A1B-Q4_0.gguf4.7 GB
- LFM2-8B-A1B-Q3_K_M.gguf4.0 GB
- LFM2-8B-A1B-UD-Q3_K_XL.gguf3.7 GB
- LFM2-8B-A1B-Q3_K_S.gguf3.6 GB
- LFM2-8B-A1B-UD-Q2_K_XL.gguf3.1 GB
- LFM2-8B-A1B-Q2_K.gguf3.1 GB
- LFM2-8B-A1B-Q2_K_L.gguf3.1 GB
- imatrix_unsloth.gguf_file17.4 MB
- README.md21.4 KB
- .gitattributes2.7 KB
הרישיון
המאגר מוגדר תחת רישיון other בעמוד, בעוד כרטיס המקור מציין את LFM Open License v1.0. זהו אינו רישיון קוד פתוח סטנדרטי כמו MIT או Apache. לפני שילוב שלו במוצר מסחרי, חובה לקרוא את תנאי הרישיון המקוריים של Liquid AI כדי לוודא שאין הגבלות שימוש או הפצה.