SmolVLM2

מה זה

מעלים קובץ תמונה או וידאו בפורמט mp4 יחד עם שאלת טקסט בתיבת השיחה, ומקבלים תשובה מילולית שמנתחת את המדיה שהזנתם. אפשר להעלות גם כמה קבצים במקביל לצורך השוואה או ניתוח משולב, ולשלוט באורך הפלט דרך סליידר שנע בין 100 ל־500 טוקנים ומכוון כברירת מחדל ל־200.

מאחורי הקלעים רץ המודל SmolVLM2-2.2B-Instruct, שמוגדר בקוד תחת AutoModelForImageTextToText ומיועד לעיבוד משולב של תמונה, וידאו וטקסט בגודל קומפקטי של 2.2 מיליארד פרמטרים. הממשק מציע דוגמה מוכנה מראש שבה מוצג תרשים מזג אוויר והמודל נשאל היכן מתרחשות הבצורות החמורות ביותר לפי הנתונים שבו.

מתאים ל

• ניתוח תרשימים וגרפים

  חילוץ מידע ממוקד מתוך דיאגרמות או שרטוטים באמצעות שאלות ישירות בטקסט.

• בדיקת וידאו בפורמט קצר

  העלאת קובץ mp4 כדי לשאול מה מתרחש בסצנה ולקבל תיאור מילולי תמציתי.

• השוואה בין תמונות

  טעינת מספר תמונות במקביל בממשק ושאלת שאלות על ההבדלים ביניהן.

איפה זה נופל

הממשק אינו שומר היסטוריית שיחה, וכל פנייה מתחילה מאפס בלי שהמודל יזכור מה שאלתם קודם. הוא גם לא יפיק שום פלט אם תשלחו קובץ מדיה בלי שאילתת טקסט מלווה, או אם תנסו לקבל תוצר וידאו חזרה, שכן המודל רק קורא וידאו ומחזיר טקסט בלבד. בנוסף, חלון יצירת הטקסט מוגבל לעד 500 טוקנים, כך שלא תוכלו לקבל ניתוחים מעמיקים או תמלולים מלאים.

איך משתמשים

פשוט נכנסים, גוררים תמונה או קובץ mp4 לתיבת השיחה, מקלידים שאלה ולוחצים על שליחה. אין צורך בהרשמה או בהתחברות לחשבון כדי להריץ שאילתה, וכפתור עצירה מאפשר לקטוע את יצירת הטקסט בכל שלב. הביצועים נשענים על חומרת zero-a10g שמקצה מעבד גרפי של אנבידיה לפי דרישה, מה שאומר שהרצה ממוצעת צפויה לקחת שניות בודדות, אך ייתכן שתמתינו זמן קצר לתור כשיש עומס משתמשים.

הרישיון

הקוד והמודל משוחררים תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה עצמאית. לגבי הקבצים שאתם מעלים, הם עוברים דרך השרתים שמארחים את הממשק לצורך העיבוד הנוכחי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗