lavila
רץ בדפדפןnaterawרישיון לא דווח2022-12-09
מעלים סרטון קצר ומקבלים תיאור טקסטואלי של מה שקורה בו. מתאים למי שרוצה לבדוק יצירת כתוביות אוטומטיות מבוססות ראייה ממוחשבת בלי לכתוב שורת קוד.
- —הורדות בחודש
- 66לייקים
מה זה
אתם מעלים קובץ וידאו, מכוונים פרמטרים של יצירתיות ודגימה, ומקבלים תיאור של הפעולות בסרטון. הממשק מציג דוגמאות מובנות מראש, כמו סרטון של אכילת ספגטי, כדי שאפשר יהיה לבדוק את הפלט מיד בלי להעלות קובץ מהמחשב.
מאחורי הקלעים הקוד משתמש במודל LaViLa שמחבר בין עיבוד וידאו למודלי שפה. היישום טוען ארכיטקטורה שמשלבת מודל וידאו מסוג TimeSformer יחד עם רכיבי שפה מבוססי GPT-2, ומשתמש בספריית decord כדי לחלץ פריימים מתוך הקובץ ולתרגם אותם למילים.
מתאים ל
- בדיקת תיאור סרטונים
בוחנים איך מודל שפה מפענח פעולות פשוטות מתוך קבצי וידאו קצרים.
- התנסות בהגדרות דגימה
משנים את ערכי הטמפרטורה ובודקים איך הניסוח של התיאור משתנה בהתאם.
- בדיקת דוגמאות מוכנות
מריצים בלחיצה סרטונים קיימים כדי לראות את מבנה הפלט בלי לחפש קבצים משלכם.
איפה זה נופל
הבעיה המיידית היא שהיישום פשוט לא עובד כרגע בגלל שגיאת קוד פנימית בהרצה. מעבר לזה, המודל מחזיר טקסט באנגלית בלבד ולא יודע לייצר תיאורים בעברית. הוא מתמקד בזיהוי פעולות פשוטות וקצרות מתוך פריימים נבחרים, כך שלא תקבלו ניתוח עמוק של סרטונים ארוכים או מורכבים.
שאלות
נפוצות
האם היישום עובד כרגע בדפדפן?
לא. העמוד מדווח על שגיאת זמן ריצה, ולכן לא ניתן להריץ עליו סרטונים עד שמי שפרסם אותו יתקן את התקלה.
האם אפשר לקבל תיאור בעברית?
לא. המודלים שמריצים את הטקסט מאחורי הקלעים אומנו באנגלית ומייצרים משפטים באנגלית בלבד.
אפשר להריץ את הקוד הזה באופן מקומי?
כן, הקוד נשען על ספריות פתוחות כמו PyTorch ו־Gradio יחד עם מאגר LaViLa. תצטרכו מחשב עם מאיץ גרפי מתאים כדי לטעון את המשקלים ולהריץ את העיבוד.
איך משתמשים
הממשק דורש העלאת וידאו, בחירת ערכי temperature ו־top_p באמצעות מחוונים, ולחיצה על כפתור ההרצה. היישום מוגדר לרוץ על חומרת T4-medium, אבל כרגע הוא תקוע במצב של שגיאת זמן ריצה ולא מגיב. אם הוא יחזור לפעילות, עיבוד וידאו על מאיץ גרפי כזה לוקח בדרך כלל כמה שניות לכל קטע קצר.
הרישיון
הרישיון של היישום לא דווח במערכת. כשאין רישיון מוגדר, אין לכם אישור ברור לשימוש מסחרי בקוד או בפלטים, ועדיף לא להעלות סרטונים פרטיים או רגישים לעמוד ציבורי כזה.