LFM2-1.2B-RAG
קוד פתוחLiquidAIother2025-09-03
זה מודל קטן שתוכנן ספציפית למענה על שאלות מתוך מסמכים שמזריקים לו. מתאים למי שרוצה רכיב מענה מהיר ומקומי לתוך צינור שליפת מידע בלי להחזיק כרטיסי מסך יקרים.
- 1.2Bפרמטרים
- 128,000טוקנים בהקשר
- 2.2 GBמשקל הקבצים
- 637הורדות בחודש
מה זה
מדובר במודל שפה עם 1.2 מיליארד פרמטרים שעבר אימון ייעודי למשימות אחזור מידע ומענה מבוסס מקורות. המפתחים אימנו אותו על יותר ממיליון דוגמאות של שיחות מרובות תורות וטקסטים מכמה מסמכים במקביל, משילוב של מקורות פתוחים ונתונים סינתטיים. הוא תומך בחלון הקשר של 128,000 טוקנים, מה שמאפשר לדחוף לו טקסטים ארוכים למדי ישירות לפרומפט.
בניגוד למודלים כלליים בסדרי הגודל האלה שלרוב מתפזרים וממציאים עובדות, פה כיוונו אותו מראש להישאר צמוד לחומר שמוזן לו. ההמלצה בהגדרות הריצה היא לעבוד עם דגימה חמדנית בטמפרטורה אפס כדי לקבל תשובות מדויקות ועקביות מהמסמך.
מתאים ל
- עוזר מחקר למאמרים
מאפשר שיחה מרובת תורות מול קובצי טקסט ומסמכים אקדמיים תוך שמירה על עובדות מהמקור.
- בוט תיעוד טכני
עונה למשתמשים ישירות מתוך מדריכי מוצר ותיעוד פנימי של החברה בריצה מקומית קלה.
- תמיכה טכנית פנימית
שולף תשובות מתוך מאגר ידע ארגוני ומספק מענה מדויק לעובדים בלי שליחת מידע החוצה.
איפה זה נופל
החיסרון המרכזי לקורא הישראלי הוא השפות. המודל תומך רשמית באנגלית, ערבית, סינית, צרפתית, גרמנית, יפנית, קוריאנית, פורטוגזית וספרדית. עברית לא נמצאת ברשימה, ולכן אי אפשר לבנות עליו לפענוח מסמכים בעברית בלי לבדוק קודם איך הטוקנייזר שלו מתמודד איתה. בנוסף, מודל של 1.2 מיליארד פרמטרים עדיין מוגבל ביכולת הסקת המסקנות שלו ביחס למודלים גדולים, במיוחד אם המסמכים מכילים ניסוחים מורכבים.
אותה משפחה
LFM2-1.2B-RAG יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל מתאים לטקסטים בעברית?
עברית אינה מופיעה ברשימת השפות הנתמכות שפרסמה החברה. אם הנתונים שלכם בעברית, המודל כנראה יתקשה לעבד אותם או יחזיר פלט משובש, ומומלץ לבחון מודל רב לשוני אחר.
למה מומלץ להריץ אותו בטמפרטורה 0?
המודל אומן להיצמד לעובדות מתוך מסמכים שסופקו לו ולא להמציא מידע. טמפרטורה אפס מבטלת אקראיות בתהליך יצירת הטקסט ומבטיחה שהתשובות ישקפו ישירות את המקורות שהוזנו.
איך מריצים
המשקל הכולל של הקבצים עומד על 2.2 ג'יגה בייט בדיוק bfloat16, כך שאין שום בעיה לדחוף אותו לכרטיס מסך בסיסי עם 4 עד 6 ג'יגה זיכרון, או להריץ אותו דרך מעבד במחשב נייד באמצעות גרסת GGUF וספריית llama.cpp. הוא רץ גם דרך transformers הרגיל עם תבנית שיחה בסגנון ChatML.
אם אתם צריכים רק מענה נקודתי מתוך מסמכים קצרים, להרים אותו עצמאית זה עניין של דקות. לעומת זאת, אם אתם מנצלים את כל 128 אלף הטוקנים של חלון ההקשר באופן קבוע, הזיכרון הנדרש לקאש יזנק, ושם שווה לבדוק אם שירות מנוהל או API חיצוני לא חוסכים לכם תחזוקת תשתית.
from transformers import pipeline
pipe = pipeline("text-generation", model="LiquidAI/LFM2-1.2B-RAG")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 2.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון של המודל סומן כרגע כהגדרת other ולא תחת רישיון קוד פתוח סטנדרטי ומוכר. המשמעות היא שחייבים לבדוק את תנאי השימוש המשפטיים באתר החברה לפני שמשלבים אותו במוצר מסחרי.