LFM2-1.2B-RAG-GGUF

מה זה

מדובר בהתאמה ייעודית של LFM2 בגודל 1.2 מיליארד פרמטרים, שתוכננה מראש לעבודה בתוך מערכות שליפת מידע ומענה מבוסס הקשר. במקום לנסות לזכור את כל הידע של העולם בתוך המשקולות, הוא מתמקד ביכולת לקרוא קטעי טקסט שתזינו לו ולחלץ מהם תשובות מדויקות בלי להמציא דברים שלא מופיעים במקור.

היתרון המרכזי כאן הוא היעילות מול הגודל. רוב מודלי השפה הקטנים נוטים להסתבך כשמעמיסים עליהם פסקאות ארוכות של תיעוד טכני או מחקר, אבל כאן האימון כוון ישירות להתמודדות עם מסמכים חיצוניים. המודל תומך בשמונה שפות שונות, ביניהן אנגלית, ערבית, סינית, צרפתית וגרמנית, אם כי עברית אינה מופיעה ברשימת השפות הנתמכות שלו.

מתאים ל

• בוט תיעוד מוצר

  קריאת מדריכים טכניים ומענה ממוקד לשאלות משתמשים על בסיס הטקסט.

• תמיכה טכנית פנימית

  שליפת נהלים מתוך מאגר ידע ארגוני והחזרת תשובות מבוססות ישירות לעובדים.

• עוזר מחקר אקדמי

  ניהול שיחה סביב מאמרים וסיכומי קורסים כדי לחלץ נקודות מפתח במהירות.

איפה זה נופל

החיסרון המיידי עבור משתמשים בישראל הוא היעדר תמיכה רשמית בעברית, שכן רשימת השפות כוללת רק שפות נבחרות כמו אנגלית, ערבית וגרמנית. בנוסף, מודל של 1.2 מיליארד פרמטרים מוגבל מאוד ביכולות ההסקה שלו, כך שאם השאלה דורשת סינתזה עמוקה בין עשרות מקורות סותרים, הוא עלול לפספס. הכרטיס גם לא מספק נתוני מדידה מספריים או מבחני ביצועים מדויקים, מה שמחייב אתכם לבדוק אותו עצמאית מול הנתונים שלכם.

אותה משפחה

LFM2-1.2B-RAG יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל מופץ בפורמט GGUF, מה שאומר שאפשר להריץ אותו ישירות דרך כלי שורת הפקודה של llama.cpp בלי שום צורך בהתקנות מסובכות של פייתון. פקודה פשוטה של llama-cli עם מזהה המאגר ב־Hugging Face תוריד ותריץ אותו מיד.

בגודל של כ־1.2 מיליארד פרמטרים וקבצים ששוקלים יחד כ־6.4 גיגה בייט, אתם ממש לא צריכים כרטיס גרפי יקר של שרתים. אפשר להריץ אותו בנוחות על מעבד רגיל של מחשב נייד או תחנת קצה פשוטה. אם אתם צריכים לטפל באלפי פניות במקביל או שאתם מחפשים מענה מורכב בעברית, שווה לשקול פנייה לשירותי ענן או ל־API ייעודי במקום להחזיק את התשתית לבד.

ollama run hf.co/LiquidAI/LFM2-1.2B-RAG-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

13 קבצים במאגר, 6.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• LFM2-1.2B-RAG-F16.gguf2.3 GB
• LFM2-1.2B-RAG-Q8_0.gguf1.2 GB
• LFM2-1.2B-RAG-Q6_K.gguf962.8 MB
• LFM2-1.2B-RAG-Q5_K_M.gguf843.4 MB
• LFM2-1.2B-RAG-Q4_K_M.gguf730.9 MB
• LFM2-1.2B-RAG-Q4_0.gguf695.8 MB
• LICENSE10.6 KB
• .gitattributes1.9 KB
• README.md1.7 KB
• leap/Q4_K_M.json253 B
• leap/Q5_K_M.json253 B
• leap/Q4_0.json251 B
• leap/Q8_0.json251 B

הרישיון

הרישיון מוגדר כ־other, מה שאומר שלא מדובר ברישיון קוד פתוח מוכר וסטנדרטי כמו MIT או אפאצ'י. החברה מפנה לתנאי שימוש משלה, ולכן לפני שאתם משלבים את הקבצים האלה בתוך מוצר מסחרי או מפיצים אותם ללקוחות, חובה לבדוק ישירות את תנאי הרישיון באתר שלהם כדי לוודא שאין הגבלות שימוש.

הרישיון המלא בעמוד המודל ↗