florence-2-video

מה זה

הכלי מציג ממשק קלט ופלט פשוט של שני נגני וידאו זה לצד זה. אתם מעלים קובץ וידאו מקומי, שולחים אותו לעיבוד, ומקבלים בחזרה קובץ וידאו חדש שכולל את שכבת הניתוח החזותי שנוצרה.

מאחורי הקלעים רץ המודל florence-2-base-ft של מיקרוסופט, יחד עם שימוש במודל השפה phi-1_5. המערכת מפרקת את הווידאו לרצף פריימים באמצעות ספריית supervision, מריצה עליהם את הראייה הממוחשבת, ומרכיבה הכל מחדש לסרטון מעובד. הממשק בקוד מתמקד בהעלאת קובץ והרצה ישירה שלו מול המודל.

מתאים ל

• ניתוח תנועה בווידאו

  זיהוי אובייקטים ומעקב אחריהם לאורך סרטון קצר לבדיקת דיוק המודל.

• בדיקת המודל של מיקרוסופט

  הערכת היכולות של Florence-2 על פריימים רציפים ללא כתיבת קוד מקדים.

• המחשת יכולות supervision

  צפייה בדרך שבה שכבות גרפיות מולבשות על גבי סרטון קיים.

איפה זה נופל

האפליקציה אינה מערכת עריכה מורכבת ואין בה אפשרות לבחור שכבות תיוג ידניות או לשלוט בהגדרות הרזולוציה. עיבוד וידאו מלא פריים אחר פריים דורש כוח חישוב משמעותי, כך שסרטונים ארוכים מדי עלולים להיתקע במגבלות הזיכרון של הממשק. בנוסף, המודל הבסיסי עלול לפספס אובייקטים מהירים שזזים בין הפריימים.

איך משתמשים

נכנסים לעמוד בחינם, גוררים קובץ וידאו אל תיבת הקלט, ולוחצים על כפתור ההרצה. אין צורך לפתוח חשבון או להגדיר מפתחות API. העיבוד עצמו נשען על חומרת zero-a10g שמוקצית לפי דרישה, ומציג מד התקדמות בזמן אמת שמבוסס על tqdm, כך שרואים בדיוק כמה פריימים עובדו בכל רגע. אם השרת עמוס, ייתכן שתמתינו זמן מה עד לקבלת החומרה הגרפית הדרושה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בקוד. התוכן שאתם מעלים מועבר לשרתי Hugging Face לצורך עיבוד בלבד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗