LFM2-VL-3B

מה זה

הארכיטקטורה משלבת מודל שפה של 2.6 מיליארד פרמטרים מסוג היברידי של קונבולוציה ותשומת לב, יחד עם אנקודר ראייה של 400 מיליון פרמטרים. תמונות עד 512 על 512 מעובדות ברזולוציה הטבעית שלהן ללא עיוות, בעוד תמונות גדולות יותר נחתכות לחלקים עם תמונת ממוזערת להקשר כללי. המערכת דוחסת את המידע החזותי כך שתמונה של אלף על שלושת אלפים פיקסלים למשל מתכווצת ל־1,020 טוקנים בלבד.

במדדים הוא מוביל בממוצע על מתחרים בגודל דומה כמו אינטרן וי אל וקוון 2.5, עם ציון ממוצע של 69. הפער המשמעותי נרשם במבחן הוראות המולטימודל שבו קיבל 51.83 נקודות לעומת פחות מ־40 אצל קוון ואינטרן, וגם בבדיקות הבנת תמונות מהעולם האמיתי הוא עקף אותם. בטקסט מתוך תמונה הוא הוציא 822 נקודות, תוצאה קרובה מאוד למתחרים אבל לא עוקפת אותם.

מתאים ל

• סוכנים קלים בקצה

  הוא אומן למעקב אחרי פקודות וסוכנים, ונכנס בקלות לכרטיסי מסך קטנים עם פחות משישה גיגה זיכרון.

• סריקת תמונות לא סטנדרטיות

  האנקודר שומר על יחסי גובה ורוחב חריגים ללא עיוות, ומתאים לפורמטים משתנים כמו פנורמות או צילומי מסמכים ארוכים.

• איזון מהירות מול איכות

  אפשר להגביל ידנית בזמן ריצה את מספר טוקני התמונה בין 64 ל־256 בלי לאמן מחדש, לפי מגבלות החומרה.

איפה זה נופל

היוצרים כותבים במפורש שהמודל מיועד רק למשימות ממוקדות ודורש כוונון עדין כדי להגיע לביצועים טובים, ושאין להשתמש בו לקבלת החלטות קריטיות לבטיחות. בנוסף, אף שהמטא-דאטה מציין מספר שפות בינלאומיות, כרטיס המודל מגדיר תמיכה באנגלית בלבד. אם תזרקו עליו עברית בלי לאמן אותו מראש, התוצאות כנראה ישברו.

אותה משפחה

LFM2-VL יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אתם צריכים התקנה ישירה של ספריית הטרנספורמרס מהגיטהאב לפי קומיט ספציפי, כי התמיכה בארכיטקטורה עדיין לא בגרסה הרשמית היציבה. הקבצים שוקלים 5.6 גיגה בייט בפורמט בי פלואוט 16, כך שכרטיס מסך בסיסי עם 8 עד 12 גיגה זיכרון מריץ אותו בקלות. יש גם גרסאות קטנות יותר בסדרה, אחת של 450 מיליון ואחת של 1.6 מיליארד, שמיועדות לחומרה חלשה בהרבה.

אם יש לכם צורך בעיבוד רב לשוני מורכב או בטיפול במשימות כלליות כבדות, עדיף לפנות לשרת עם מודל ענק דרך ממשק חיצוני. המודל הזה משתלם כשאתם רוצים להריץ תהליכים ישירות על מכשיר קצה או לשלוט בדיוק על כמות טוקני התמונה לחיסכון בזמן.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="LiquidAI/LFM2-VL-3B")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 5.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors1.0 GB
• tokenizer.json4.7 MB
• tokenizer_config.json92.2 KB
• model.safetensors.index.json75.0 KB
• LICENSE10.6 KB
• README.md9.4 KB
• config.json2.6 KB
• .gitattributes1.5 KB
• preprocessor_config.json986 B
• special_tokens_map.json584 B
• chat_template.jinja434 B
• generation_config.json136 B
• processor_config.json79 B

הרישיון

הפרויקט מופץ תחת רישיון קנייני של החברה בשם LFM Open License v1.0, למרות שבמטא-דאטה מופיע רק סיווג כללי. הרישיון הזה אינו רישיון קוד פתוח סטנדרטי כמו אפאצ'י או MIT, ולכן לפני הטמעה במוצר מסחרי צריך לקרוא היטב את תנאי השימוש המדויקים שלהם כדי לוודא שאין הגבלות הפצה.

הרישיון המלא בעמוד המודל ↗