VADER

מה זה

אתם מקלידים הנחיה טקסטואלית באנגלית, בוחרים מודל LoRA מתוך רשימה נפתחת כמו Base Model, huggingface-pickscore או huggingface-hps-aesthetic, ומקבלים קובץ וידאו קצר לצפייה ולהורדה. הממשק כולל דוגמאות מובנות שמעדכנות את הערכים בלחיצה, ומציגות שילובים של דירוגי LoRA ומודלים שונים.

מאחורי הקלעים רץ קוד אימון והסקה של טקסט לווידאו, שנעזר במודלים לעיבוד שפה וראייה ממוחשבת כמו גרסאות של google/t5, מודלי זיהוי אובייקטים מסוג YOLOS ו־Grounding DINO, ומודל CLIP של LAION להערכת התוכן.

מתאים ל

• יצירת וידאו קצר

  הפקת סרטון קצר של עד 50 פריימים מתוך תיאור טקסטואלי חופשי.

• בדיקת מודלי LoRA

  השוואת תוצאות בין מודל הבסיס לבין מודלים כמו pickscore.

• ניסוי בפרמטרי דגימה

  כוונון פרמטרים טכניים כמו צעדי DDIM, Guidance Scale ו־LoRA Rank.

איפה זה נופל

הרזולוציה מוגבלת למקסימום של 512 על 512 פיקסלים, וכמות הפריימים מוגבלת לעד 50 בלבד. הדוגמאות המוכנות נטענות בצורה עצלה, וההסקה דורשת חישוב כבד שעלול להיתקע אם יש עומס על חומרת ה־A10G הזמנית. מי שמצפה לסרטונים ארוכים או באיכות גבוהה יגלה שהממשק מיועד רק לקטעים קצרים מאוד.

איך משתמשים

כדי להפיק וידאו, כותבים טקסט בתיבה, מגדירים את גודל הפריים, כמות הפריימים, קצב התצוגה וצעדי ה־DDIM, ולוחצים על כפתור ההרצה Run Inference. היישום רץ על מעבד גרפי zero-a10g שמספק כוח עיבוד זמני בענן, כך שזמן ההמתנה תלוי בהקצאת המשאבים ובכמות הצעדים שבחרתם.

הרישיון

הקוד מופץ תחת רישיון MIT, מה שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים, בכפוף לשמירה על תנאי הרישיון המקוריים. לגבי הסרטונים שנוצרים דרך הממשק, מעמדם תלוי גם במודלים הבסיסיים המשמשים ביצירה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗