unsloth/LFM2.5-1.2B-Instruct-GGUF

מה זה

מדובר במודל שפה קומפקטי בעל 1.17 מיליארד פרמטרים, שנוצר בארכיטקטורה היברידית המשלבת שכבות קונבולוציה עם מנגנוני תשומת לב מסוג GQA, ואומן על 28 טריליון טוקנים. הוא מגיע עם חלון הקשר של 32,768 טוקנים ומיועד בראש ובראשונה לפעול על גבי מכשירי קצה, לפענוח פקודות ולהפעלת כלים חיצוניים.

במדדי ההערכה מול מודלים אחרים באזור ה־1B עד 2B, המודל עוקף חלופות כמו Llama 3.2 1B ו־Gemma 3 1B בפער ניכר במבחני הבנת הוראות דוגמת IFEval שבו קיבל 86.23 נקודות, ו־49.12 במבחן הפעלת הפונקציות BFCLv3. הנתונים האלה מעידים שהוא ממושמע יותר למבנה של פקודות מורכבות ביחס לגודלו, ולא מתפזר בקלות כשמבקשים ממנו פלט ספציפי.

מתאים ל

• הפעלת פונקציות מקומית

  חילוץ פרמטרים והרצת קריאות API אוטומטיות ישירות על מעבד המכשיר ללא תלות ברשת.

• שליפת מידע במערכות RAG

  סינון ועיבוד מקטעי טקסט קצרים בתוך חלון הקשר נרחב, תוך צריכת זיכרון אפסית.

• חילוץ נתונים מובנים

  המרת טקסט חופשי למבנה JSON מוגדר היטב בזכות משמעת גבוהה להנחיות.

איפה זה נופל

היוצרים של המודל מציינים בפירוש שהוא לא מתאים למשימות הדורשות ידע עמוק או לכתיבת קוד ותכנות. בנוסף, רשימת השפות הרשמית שלו כוללת אנגלית, ערבית, סינית, צרפתית, גרמנית, יפנית, קוריאנית וספרדית, כך שעברית לא נתמכת בו באופן רשמי. ניסיון להשתמש בו לניתוח טקסטים בעברית צפוי להיתקל בשיבושים, פליטת ג'יבריש ואיכות נמוכה.

אותה משפחה

LFM2.5 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

ההרצה המעשית מתבצעת ישירות דרך כלי GGUF מוכרים כמו llama.cpp, כאשר Unsloth מדגישים שחובה להפעיל את הדגל jinja כדי שתבנית השיחה תעבוד נכון. המודל דורש פחות מגיגה־בייט בודד של זיכרון עבודה, מה שמאפשר לו לרוץ בקלות על מעבדי מחשבים ניידים פשוטים, מכשירי טלפון או מעבדי NPU ייעודיים, שם הוא מגיע לקצבי פענוח של עשרות עד מאות טוקנים בשנייה.

אם אתם צריכים רק להפעיל שירות קצה מבודד או כלי מקומי בלי חיבור לרשת, אין סיבה להשתמש ב־API חיצוני. לעומת זאת, אם השרת שלכם כבר מטפל בעומסי עבודה כבדים או זקוק לתשובות שדורשות ידע כללי רחב, שירותי ענן גדולים עדיין ייתנו תמורה טובה יותר.

ollama run hf.co/unsloth/LFM2.5-1.2B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

22 קבצים במאגר, 15.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• LFM2.5-1.2B-Instruct-BF16.gguf2.3 GB
• LFM2.5-1.2B-Instruct-UD-Q8_K_XL.gguf1.4 GB
• LFM2.5-1.2B-Instruct-Q8_0.gguf1.2 GB
• LFM2.5-1.2B-Instruct-UD-Q6_K_XL.gguf995.3 MB
• LFM2.5-1.2B-Instruct-Q6_K.gguf962.8 MB
• LFM2.5-1.2B-Instruct-Q5_K_M.gguf843.4 MB
• LFM2.5-1.2B-Instruct-UD-Q5_K_XL.gguf843.4 MB
• LFM2.5-1.2B-Instruct-Q5_K_S.gguf825.3 MB
• LFM2.5-1.2B-Instruct-Q4_1.gguf760.5 MB
• LFM2.5-1.2B-Instruct-Q4_K_M.gguf730.9 MB
• LFM2.5-1.2B-Instruct-UD-Q4_K_XL.gguf730.9 MB
• LFM2.5-1.2B-Instruct-Q4_K_S.gguf700.5 MB
• LFM2.5-1.2B-Instruct-Q4_0.gguf695.8 MB
• LFM2.5-1.2B-Instruct-Q3_K_M.gguf600.3 MB
• LFM2.5-1.2B-Instruct-UD-Q3_K_XL.gguf600.3 MB
• LFM2.5-1.2B-Instruct-Q3_K_S.gguf558.2 MB
• LFM2.5-1.2B-Instruct-Q2_K.gguf483.4 MB
• LFM2.5-1.2B-Instruct-Q2_K_L.gguf483.4 MB
• LFM2.5-1.2B-Instruct-UD-Q2_K_XL.gguf483.4 MB
• imatrix_unsloth.gguf_file1.2 MB
• README.md14.3 KB
• .gitattributes2.6 KB

הרישיון

הרישיון המוגדר הוא other, וכרטיס המודל לא מפרט את תנאי השימוש המדויקים אלא מפנה ליצירת קשר במייל מול חברת Liquid AI לפתרונות ארגוניים. כל עוד לא בדקתם את מסמך הרישיון המקורי של המפתחת, אי אפשר להניח שמותר להפיץ אותו באופן מסחרי במוצר שלכם.

הרישיון המלא בעמוד המודל ↗