GPT
הוספת כלי
L

LFM2.5-Encoder-350M

קוד פתוח

LiquidAIother2026-07-27

  • transformers
  • safetensors
  • lfm2
  • fill-mask
  • liquid

מודל אנקודר דו-כיווני קומפקטי שמיועד למיון טקסט, חילוץ ישויות ושליפה בטקסטים ארוכים. הוא רץ מהר גם על מעבד רגיל כשמגיעים לקלט של אלפי טוקנים.

  • 354Mפרמטרים
  • 128,000טוקנים בהקשר
  • 1.3 GBמשקל הקבצים
  • 10,946הורדות בחודש

מה זה

מדובר באנקודר שמבוסס על שילוב של קונבולוציות קצרות ותשומת לב מלאה לכל הכיוונים, במקום הארכיטקטורה הרגילה של רובוטריקים. הוא מיועד לשמש כבסיס שעליו מאמנים ראש משימה, כמו סיווג טקסט, ניתוח מסמכים או חיפוש סמנטי. הטקסט עובר עיבוד בחלון של עד 8,192 טוקנים בתוך 15 שפות נתמכות, ביניהן אנגלית, צרפתית, גרמנית, ערבית וסינית.

במבחני ביצועים על פני 17 משימות GLUE, SuperGLUE ומשימות רב-לשוניות, המודל הגיע לממוצע של 81.02 נקודות. זה מציב אותו צמוד מאוד ל־ModernBERT הגדול ממנו ול־XLM-R בגרסת 560M, ומעל כלים כמו mDeBERTa-v3. היתרון המשמעותי שלו מופיע במהירות, ככל שהקלט מתארך הוא מתמודד טוב יותר מאנקודרים קלאסיים, ובהקשר של 8k על גבי CPU הוא מהיר פי 3.3 מ־ModernBERT-base.

מתאים ל

  • סיווג מסמכים ארוכים

    הוא מעבד טקסטים של עד 8,192 טוקנים על חומרה פשוטה, בלי להיחנק איפה שאנקודרים של 512 טוקנים נכשלים.

  • ניתוב שאילתות בזמן אמת

    מאפשר לבדוק פרומפטים מול חוקים או קטגוריות בריצה מהירה אחת, ישירות על מעבד השרת.

  • מודל בסיס לחיפוש סמנטי

    מתאים לאימון כרכיב שליפה או דירוג מחדש הודות לביצועים גבוהים במשימות דמיון טקסטואלי.

איפה זה נופל

החיסרון המרכזי למפתח בישראל הוא היעדר תמיכה בעברית. רשימת 15 השפות כוללת ערבית, רוסית ושפות אירופיות, אבל עברית לא נמצאת שם, ולכן הוא לא יתאים למשימות מקומיות בלי אימון מקדים נוסף. מעבר לזה, לא מדובר במודל שמייצר תשובות בצורה חופשית כמו צ'אטבוט רגיל, אלא במודל שמחזיר ייצוגים ודורש fine-tuning מלא כדי לבצע משימה ספציפית בעולם האמיתי. במשימות מסוימות כמו RTE הוא הציג נפילה ל־75.23 נקודות, נמוך בהרבה ממתחרים בגודל דומה.

אותה משפחה

LFM2.5-Encoder יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

LFM2.5-Encoder-230M2,924

שאלות
נפוצות

אפשר להשתמש בו ישירות כצ'אטבוט?

לא באופן טבעי. מדובר באנקודר דו-כיווני ולא במודל שפה אוטורגרסיבי שפולט מילים אחת אחרי השנייה. הוא מיועד לייצר וקטורים, לזהות ישויות, לסווג טקסט או לנחש מילים מוסתרות, ולא לנהל שיחה חופשית.

איזה כרטיס מסך צריך בשביל להריץ אותו בפרודקשן?

הוא שוקל 1.3 גיגה-בייט בלבד, כך שגם GPU פשוט עם 4 או 8 גיגה זיכרון יספיק בקלות. יתרה מזאת, בגלל הארכיטקטורה שלו אפשר להריץ אותו ישירות על מעבדים רגילים, במיוחד אם מדובר בטקסטים ארוכים.

איך מריצים

אתם מושכים את המשקלים דרך ספריית transformers הרגילה, אבל חובה להפעיל את הדגל trust_remote_code כי הארכיטקטורה דורשת קוד ייעודי. הקבצים שוקלים 1.3 גיגה-בייט בלבד, מה שאומר שאפשר להריץ אותו בלי בעיה על מעבד מקומי, מחשב נייד או כרטיס מסך בסיסי עם מעט זיכרון. אם מריצים על GPU, כדאי להתקין Flash Attention 2 כדי לקבל ניצול מלא של החומרה.

גרסת ה־350M מתאימה למי שצריך את הדיוק המרבי במשימות מורכבות, בעוד גרסת ה־230M עדיפה למכשירים מוגבלים מאוד בזמן תגובה. במקרה הזה אין סיבה אמיתית לשלם על API חיצוני. המודל קל, רץ מקומית בלי עלויות שרת כבדות, ומיועד בעיקר למי שרוצה לאמן עליו שכבה מותאמת אישית.

from transformers import pipeline

pipe = pipeline("fill-mask", model="LiquidAI/LFM2.5-Encoder-350M")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון בשם LFM Open License v1.0, שמסווג במאגר כרישיון אחר ולא רישיון קוד פתוח סטנדרטי כמו MIT או Apache. תנאי השימוש המדויקים, מגבלות מסחריות או חובות הפצה לא מפורטים ישירות בעמוד, ולכן חובה לקרוא את קובץ הרישיון המלא לפני שמשלבים אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗