marlin-2b-video-understanding
רץ בדפדפןHappyPabloרישיון לא דווח2026-05-26
מעלים סרטון וידאו ומקבלים תיאור מפורט של הסצנה לצד איתור אירועים לפי חותמות זמן. הממשק מתאים למי שרוצה לבחון יכולות הבנת וידאו קלות משקל ישירות בדפדפן.
- —הורדות בחודש
- 52לייקים
מה זה
האפליקציה מקבלת קובץ וידאו ומריצה עליו את מודל הראייה NemoStation/Marlin-2B בשני מסלולים נפרדים. במסלול הראשון, מקבלים פסקה שמסכמת את הסצנה לצד פירוט אירועים עם חותמות זמן מדויקות. במסלול השני, מקלידים תיאור קצר של פעולה, והמערכת מוצאת את נקודת ההתחלה והסיום שבה היא מתרחשת בתוך הווידאו.
הממשק כולל דוגמאות מובנות מראש עם תמונות מקדימות וסרטונים לבדיקה מהירה, כך שלא חייבים להעלות קובץ אישי מיד. התוצאות מוצגות על גבי ציר זמן שמסתנכרן עם נגן הווידאו, במקום להציג רק פלט טקסטואלי גולמי מתוך המודל.
מתאים ל
- תיוג סצנות אוטומטי
יצירת פסקאות תיאור ורשימת אירועים עם זמנים מוגדרים עבור קטעי וידאו.
- איתור קטעים לפי טקסט
חיפוש פעולה ספציפית בתוך וידאו וקבלת טווח הזמנים המדויק שבו היא קרתה.
- בדיקת מודל ראייה קל
בחינת הביצועים של מודל וידאו בגודל 2B פרמטרים לפני שמתקינים אותו עצמאית.
איפה זה נופל
מודל בגודל שני מיליארד פרמטרים מוגבל בדיוק שלו, ולא יחליף מודלי ענק בניתוח מורכב של פרטים זעירים. מעבר לכך, חותמות הזמן מסתמכות על פירוק גס יחסית של הווידאו, כך שלא כדאי להסתמך עליו לחיתוך ברמת הפריים הבודד.
שאלות
נפוצות
האם השימוש בהדגמה כרוך בתשלום?
לא, הממשק פתוח לשימוש חופשי בדפדפן. העיבוד רץ על תשתית שיתופית ללא צורך בהזנת פרטי תשלום. כל מה שנדרש הוא גישה לרשת ודפדפן תואם.
כמה זמן לוקח לנתח סרטון?
המודל נטען לזיכרון מראש, ולכן הניתוח מתחיל מיד ברגע שהחומרה מתפנה. על גבי מעבד A10G התהליך אורך שניות בודדות עבור סרטונים קצרים. זמני ההמתנה עשויים להתארך רק אם יש משתמשים נוספים בתור של השרת.
האם אפשר להריץ את המערכת הזו באופן מקומי?
כן, המודל NemoStation/Marlin-2B זמין להורדה ורץ באמצעות קוד פייתון רגיל. האפליקציה הנוכחית היא רק מעטפת ממשק שנבנתה מעליו בעזרת Gradio. להרצה עצמאית תצטרכו מחשב עם כרטיס מסך מתאים וסביבת עבודה מוגדרת.
איך משתמשים
בוחרים סרטון מהדוגמאות או מעלים קובץ, בוחרים אם לייצר תיאור מלא או לחפש אירוע ספציפי, ומפעילים. הריצה מתבצעת על חומרת ZeroGPU מסוג A10G, מה שאומר שהעיבוד עצמו מהיר יחסית, אך בזמני עומס ייתכן שתמתינו בתור קצר להקצאת המשאבים.
הרישיון
האפליקציה מציגה רישיון לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרי ההדגמה, וכדאי לבדוק את תנאי המודל המקורי NemoStation/Marlin-2B לפני כל שימוש בפועל.