LiveCC

מה זה

מעלים קובץ וידאו או בוחרים מתוך דוגמאות מוכנות, ובוחרים באחד משני מצבים: פרשנות חיה על רצף האירועים בסרטון, או שיחה שבה שואלים שאלות על מה שרואים. המודל מייצר טקסט שמלווה בציון חותמות זמן מתוך הסרטון, כך שרואים מתי כל התרחשות זוהתה.

מאחורי הממשק רץ המודל LiveCC-7B-Instruct, שמבוסס על מאמר שהתקבל ל־CVPR 2025 ועוסק באימון מודלי וידאו-שפה מול תמלול דיבור רציף בהיקף גדול. הקוד כולל ניהול של זיכרון מטמון ומצב וידאו פנימי כדי לנסות לדמות תגובה מתמשכת לזרם הפריימים.

מתאים ל

• פרשנות וידאו רציפה

  קבלת תיאור טקסטואלי אוטומטי של אירועים בסרטון עם חותמות זמן לפי התרחשותם.

• מענה על שאלות מתוך וידאו

  העלאת קובץ ושאילת שאלות נקודתיות על מה שרואים או שומעים בו.

• בדיקת ביצועי מודל 7B

  בחינת איכות ההבנה של מודל LiveCC מול סרטוני הדגמה או קבצים אישיים קצרים.

איפה זה נופל

זה לא תחליף לעיבוד וידאו מקצועי. שיחות מרובות שלבים נהיות איטיות מאוד בגלל ניהול זיכרון מוגבל בסביבת ההרצה, ואין תמיכה בהאצה גרפית ייעודית. מעבר לכך, חובה ללחוץ על כפתור ניקוי ייעודי לפני שמחליפים סרטון כדי לא לשבור את המצב הפנימי של התוכנה, וההשהיה המובנית הופכת את חוויית הזמן האמת לכבדה למדי בהשוואה להרצה מקומית של המאגר.

איך משתמשים

בוחרים מצב עבודה, מעלים סרטון ולוחצים על שליחה, או כותבים שאלה ומצרפים וידאו. בפועל המרחב נמצא במצב מושהה על חומרת מעבד בסיסית, כך שכרגע לא ניתן להריץ אותו בדפדפן בלי הפעלה מחדש. גם כשהוא פועל, הקוד מזהיר מראש מעיכוב מובנה של 10 עד 20 שניות בעבודה דרך הדפדפן, בין היתר בגלל חוסר תמיכה בהאצת זיכרון וטעינה ראשונית של המודל.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי קוד כולל לצרכים מסחריים בכפוף לתנאי הרישיון. סרטונים ושאלות שאתם שולחים לממשק נשלחים לשרתי האחסון שמריצים את ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗