LaVie
רץ בדפדפןVchitectרישיון לא דווח2023-11-29
הופך תיאורי טקסט לקטעי וידאו קצרים באמצעות שרשור מודלי דיפוזיה. מתאים למי שחוקר יצירת וידאו ורוצה לבחון תוצאות מקומיות או מבוססות רשת.
- —הורדות בחודש
- 190לייקים
מה זה
כותבים פרומפט טקסטואלי באנגלית ומקבלים קובץ וידאו קצר. התהליך בנוי בשלושה שלבים נפרדים: מודל בסיס שמייצר סרטון ראשוני ברזולוציה של 320 על 512 עם 16 פריימים, שלב אינטרפולציה שמרחיב את הרצף ל־61 פריימים לתנועה חלקה יותר, ושלב רזולוציית-על שמקפיץ את התוצאה ל־1280 על 2048.
מאחורי הקלעים רצה ארכיטקטורת Cascaded Latent Diffusion Models שמתבססת על Stable Diffusion 1.4 לצד מודלי CLIP של OpenAI ו־LAION לחילוץ מאפיינים וטקסט. המערכת נעזרת גם במודל הגדלה ייעודי כדי להגיע לרזולוציה הגבוהה בלי לאבד את מבנה הסצנה.
מתאים ל
- מחקר ביצירת וידאו מטקסט
בדיקת היכולות של ארכיטקטורת דיפוזיה מדורגת בהשוואה למודלים פתוחים אחרים בתחום.
- הפקת סרטונים קצרים
יצירת קליפים באורך שניות בודדות מפרומפטים באנגלית לצורכי בדיקות קונספט.
- ניסויי אינטרפולציה והגדלה
בחינת מודלי המשנה להרחבת פריימים ושיפור רזולוציה על גבי קבצי וידאו קיימים.
איפה זה נופל
ההדגמה הנוכחית ברשת פשוט שבורה ואינה מייצרת פלט עקב תקלת ריצה. מעבר לזה, המודל הבסיסי מוגבל מאוד ברזולוציה שלו ודורש מעבר שלבים נוספים כדי להפיק משהו שמיש ולא מטושטש. אין כאן תמיכה מובנית בעברית, כך שהזנת טקסט שאינו באנגלית תוביל לתוצאות פגומות לחלוטין. גם החומרה המוקצית בגרדיו מתקשה להתמודד עם שרשור כל שלושת השלבים ברצף.
שאלות
נפוצות
האם השימוש באפליקציה הזאת כרוך בתשלום?
הגישה לממשק באתר אינה עולה כסף, וגם הקוד פתוח לחלוטין. אם תרצו להשתמש במשקלים לצרכים מסחריים מחוץ למחקר, תצטרכו למלא טופס ייעודי של המפתחים, אך הרישיון עצמו מוגדר כחינמי.
למה אי אפשר לייצר וידאו בממשק כרגע?
המופע של גרדיו נמצא כרגע בסטטוס שגיאת ריצה, ולכן השרת אינו מגיב לפקודות. כדי לבדוק את הביצועים שלו תצטרכו לשכפל את המאגר ולהריץ אותו ידנית על מחשב או שרת עם מעבד גרפי מתאים.
האם אפשר להריץ את המודל באופן מקומי?
כן, המפתחים מציעים הוראות התקנה מלאות לקונדה וקישורים למשקלים באתר Hugging Face. תזדקקו לכרטיס מסך חזק כדי להחזיק את מודל הבסיס יחד עם מודלי האינטרפולציה והגדלת הרזולוציה.
האם המודל מבין פרומפטים בעברית?
הוא נשען על מקודדי CLIP של OpenAI ו־LAION שאומנו בעיקר על טקסט באנגלית. הזנת טקסט בעברית צפויה לייצר פלטים שגויים או רעש חזותי חסר משמעות, ולכן חובה לכתוב באנגלית.
איך משתמשים
נכון לעכשיו אי אפשר להפעיל את ההדגמה בדפדפן כי היא מדווחת על שגיאת ריצה. כשהסביבה עובדת, הממשק מבוסס גרדיו ורץ על מעבד גרפי מסוג A10G Large, מה שאומר שיצירת סרטון בסיסי של 16 פריימים לוקחת כמה עשרות שניות, אבל עיבוד מלא של כל שלושת השלבים ידרוש דקות ארוכות. אין צורך בהתחברות מיוחדת כדי לגשת לממשק הציבורי, אך עקב השגיאה הנוכחית האפשרות היחידה להריץ אותו היא להוריד את הקוד והמשקלים לסביבה מקומית.
הרישיון
הקוד עצמו פתוח תחת רישיון Apache 2.0. משקלי המודל פתוחים למחקר אקדמי ומאפשרים שימוש מסחרי בחינם, אך דורשים מילוי טופס בקשה רשמי מול היוצרים לפני שימוש מסחרי בפועל.