GPT
הוספת כלי
M

Molmo2-8B

קוד פתוח

allenaiapache-2.02025-12-14

  • transformers
  • safetensors
  • molmo2
  • image-text-to-text
  • multimodal

מודל פתוח שמתמחה בהבנת תמונות ווידאו, כולל יכולת הצבעה ומעקב על אובייקטים. הוא עוקף מודלים פתוחים מקבילים ומגיע לביצועים קרובים לשירותים מסחריים גדולים.

  • 8.7Bפרמטרים
  • 36,864טוקנים בהקשר
  • 32.3 GBמשקל הקבצים
  • 91,708הורדות בחודש

מה זה

מדובר במודל ראייה ושפה שמחבר בין Qwen3-8B לבין רכיב הראייה SigLIP 2 של גוגל. הוא נועד לנתח תמונות בודדות, רצפי תמונות וסרטוני וידאו, ומסוגל לבצע משימות ספציפיות כמו ספירת עצמים, כתיבת תיאורים חזותיים, ומעקב אחר נקודות לאורך וידאו.

במבחנים של 15 מדדים אקדמיים הוא קיבל ציון ממוצע של 63.1. המספר הזה שם אותו מעל כל המתחרים הפתוחים בגודל של שמונה מיליארד פרמטרים, כמו Qwen3-VL-8B שקיבל 59.5 או Eagle2.5-8B עם 60.7. הוא אפילו עקף את Claude Sonnet 4.5 באותם מבחנים ספציפיים, ומתקרב לתוצאות של מודלים סגורים כמו GPT-5 mini.

מתאים ל

  • מעקב אחר עצמים בווידאו

    זיהוי וסימון של נקודות ואובייקטים בתנועה לאורך פריימים בקצב של עד שמונה פריימים בשנייה.

  • ספירת פריטים מתמונה

    חילוץ כמויות מדויקות של אובייקטים מתוך צילומים מורכבים ברמת דיוק גבוהה יחסית לגודלו.

  • מענה לשאלות על סרטונים

    שליפת מידע והסבר על אירועים שמתרחשים בסרטונים קצרים ללא צורך במודל ענק.

איפה זה נופל

המודל תומך רשמית רק באנגלית, כך שכל ניסיון לתחקר אותו בעברית עלול להיכשל או להניב תוצאות עקומות. בנוסף, אף שהחלון מוגדר לעשרות אלפי טוקנים, ניתוח וידאו דורש דגימת פריימים מוקפדת של עד שמונה פריימים בשנייה כדי לא לפגוע באיכות המעקב. הכרטיס גם מציין במפורש תחרותיות בלבד בווידאו ארוך, להבדיל מהובלה ברורה בווידאו קצר.

אותה משפחה

Molmo2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Molmo2-4B106,972

שאלות
נפוצות

האם אפשר להריץ אותו ישירות על מחשב נייד רגיל?

לא. הקבצים שוקלים מעל שלושים ושניים גיגהבייט ודורשים זיכרון גרפי ייעודי ונפח אחסון נכבד כדי לעבד וידאו ותמונות. מחשב בלי מאיץ גרפי חזק יתקשה מאוד לטעון אותו.

האם הוא מתאים לשימוש מסחרי במוצר סופי?

הרישיון של המודל עצמו חופשי, אך נתוני האימון הוגדרו למחקר ולשימוש לא מסחרי בלבד. בגלל המגבלה הזו של הדאטהסטים, מסוכן להכניס אותו ישירות למוצר מסחרי.

האם המודל מבין עברית?

הכרטיס מצהיר על תמיכה באנגלית בלבד. פקודות בעברית או תמונות עם טקסט עברי עשויות להיתקל בקשיים משמעותיים בהבנה ובדיוק התשובה.

איך מריצים

המשקלים תופסים מעל שלושים ושניים גיגהבייט בכמעט שלושים קבצים. כדי לטעון אותו בזמן ריצה בפורמט המקורי תצטרכו כרטיס מסך עם זיכרון משמעותי, באזור עשרים וארבעה גיגהבייט ומעלה, או לבצע קוונטיזציה שתוריד את דרישות הזיכרון.

ההפעלה נעשית דרך ספריית transformers של פייתון יחד עם חבילות ייעודיות לעיבוד וידאו כמו decord2. אם אין לכם שרת ייעודי זמין ואתם צריכים רק בדיקות נקודתיות של ניתוח וידאו, עדיף להשתמש בדמו הרשת של המכון או לפנות למודל דרך שירות חיצוני במקום לתחזק שרת כבד.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="allenai/Molmo2-8B")
print(pipe("שלום"))

הקבצים

29 קבצים במאגר, 32.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים מפורסמים תחת רישיון apache-2.0, אבל יש כאן אותיות קטנות. המפתחים מציינים שהאימון התבסס על מאגרי מידע של צד שלישי שמוגבלים למחקר אקדמי ולשימוש לא מסחרי בלבד. מי שמתכנן לשלב אותו במוצר רווחי חייב לבדוק את מקורות המידע לפני שהוא חושף את עצמו משפטית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗