GPT
V

VideoCrafter

רץ בדפדפן

VideoCrafterרישיון לא דווח2023-04-05

  • gradio

הדגמה שמייצרת סרטוני וידאו קצרים מטקסט בעזרת מודל VideoCrafter2. מתאימה למי שרוצה לבחון יכולות דיפוזיה של וידאו ישירות מהדפדפן.

  • הורדות בחודש
  • 279לייקים

מה זה

מזינים תיאור טקסטואלי באנגלית, מכוונים פרמטרים ומקבלים קובץ וידאו ברוחב 512 פיקסלים. בממשק יש לשונית Text2Video שבה שולטים על מספר צעדי הדגימה בין 1 ל־60, ערך ה־ETA, סולם ה־CFG מ־1 עד 30, וקצב הפרמיות לשנייה בין 4 ל־32 פריימים. ברירת המחדל מוגדרת על 50 צעדים ו־16 פריימים לשנייה.

מאחורי הקלעים הקוד טוען את המודלים VideoCrafter2 ו־Image2Video-512, לצד מעבדי טקסט ותמונה ממשפחת google t5 ו־CLIP של OpenAI. היוצרים מציינים במפורש בהערה בעמוד שמדובר בגרסת רזולוציה נמוכה של המודל.

מתאים ל

  • בדיקת תנועה מטקסט

    מזינים פרומפט באנגלית ובודקים איך המודל מתרגם תיאור תנועה לווידאו ברזולוציה נמוכה.

  • כיוונון פרמטרי דגימה

    משנים את מדדי הצעדים וסולם ה־CFG כדי לראות את ההשפעה הישירה על איכות הווידאו.

  • ניסוי מקומי מהקוד

    נעזרים בקובץ האפליקציה כדי לראות איך לחבר את המודל לממשק עצמאי במחשב שלכם.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה תקועה ולא נטענת בגלל שגיאת קוד. מעבר לכך, התוצר מוגבל לרזולוציה נמוכה של 512 פיקסלים בלבד. מי שמחפש וידאו באיכות גבוהה או כלי שתומך בהנחיות בעברית יתאכזב, כי מודלי הבסיס מסתמכים על טקסט באנגלית בלבד.

שאלות
נפוצות

האם האפליקציה עובדת עכשיו בדפדפן?

לא. העמוד מדווח על שגיאת בנייה ולכן הממשק לא עולה כרגע. כדי להשתמש בה יש להמתין שהיוצרים יתקנו את התקלה או להריץ את הקבצים באופן עצמאי.

האם אפשר להריץ את זה על המחשב האישי?

כן, הקוד הציבורי מבוסס על ספריות סטנדרטיות ומודלים שפורסמו. תצטרכו כרטיס מסך חזק שמסוגל להתמודד עם המודלים של VideoCrafter ו־T5.

באיזו שפה צריך לכתוב את הפרומפטים?

באנגלית בלבד. המודלים שמפענחים את הטקסט נשענים על CLIP ו־T5 באנגלית, כך שעברית לא תניב תוצאות הגיוניות.

איך משתמשים

בפועל כרגע אי אפשר להריץ אותה בדפדפן, כי העמוד נמצא במצב של שגיאת בנייה. אם הקוד יתוקן, העבודה פשוטה. מקלידים טקסט, לוחצים על Send וממתינים. החומרה שהוגדרה לה היא מאיץ L4 יחיד, כך שרינדור וידאו עם 50 צעדים ייקח זמן ולא יקרה ברגע. אין צורך בהרשמה או התחברות כדי לגשת לממשק.

הרישיון

הרישיון של המרחב לא דווח כלל. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בתוצרים או בקוד, ולא ידוע מה המדיניות לגבי הנתונים שמוזנים.

הרישיון המלא ב־Hugging Face ↗