self-forcing
רץ בדפדפןmultimodalartרישיון לא דווח2025-06-18
הדגמה שמייצרת וידאו מטקסט בהזרמה חיה ומיועדת למי שרוצה לבדוק יצירת וידאו מהירה במיוחד. מזינים תיאור מילולי ומקבלים תצוגת פריימים רציפה ישירות בדפדפן.
- —הורדות בחודש
- 329לייקים
מה זה
התהליך מתחיל בהזנת פרומפט טקסטואלי באנגלית. אפשר להשתמש בכפתור הרחבה שמפעיל מודל שפה כדי להעשיר את התיאור בפרטי תנועה, תאורה וזוויות צילום, ואפשר לקבוע סיד ומספר פריימים לשנייה. הפלט מופיע כנגן וידאו שמתעדכן בשידור חי תוך כדי יצירת הפריימים, לצד חיווי סטטוס.
מאחורי הקלעים רץ שילוב בין המודל Wan2.1-T2V-1.3B לבין המשקולות של שיטת Self-Forcing. השיטה מדמה את תהליך ההסקה כבר בזמן האימון ומשתמשת במטמון של מפתחות וערכים, מה שמגשר על הפער בין האימון להרצה ומאפשר ייצור רציף בצעדים בודדים במקום לחכות לעיבוד ארוך של כל הסרטון מראש.
מתאים ל
- בדיקת רעיונות לסצנות
קבלת תצוגה מקדימה מהירה של תנועת מצלמה וקומפוזיציה בלי לחכות דקות ארוכות לרינדור מלא.
- הדגמת וידאו בהזרמה
בחינה טכנית של ביצועי שיטת Self-Forcing ויצירת פריימים רציפה בזמן אמת על גבי חומרת ענן.
- ניסוי פרומפטים מורכבים
בדיקת השפעת הרחבת טקסט אוטומטית על יציבות התנועה בסרטון המיוצר.
איפה זה נופל
האימון של המודל נשען על תיאורים ארוכים ומפורטים מאוד. פרומפטים קצרים או כלליים מניבים תוצאות מבולבלות ודלות בפרטים, ולכן השימוש בהרחבת הפרומפט הוא כמעט חובה. בנוסף, המודל הבסיסי מוגבל לגודל של 1.3 מיליארד פרמטרים, כך שאיכות הפירוט והמורכבות הגרפית נופלות ממודלי וידאו כבדים יותר.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
לא. ההרצה בדפדפן זמינה בחינם על גבי התשתית השיתופית של Hugging Face.
האם אפשר להריץ את המערכת על המחשב?
כן, הקוד פתוח. לפי דרישות הפרויקט דרוש מחשב עם מערכת הפעלה לינוקס, לפחות 24 גיגה זיכרון בכרטיס מסך כמו RTX 4090, וזיכרון מערכת של 64 גיגה.
כמה זמן לוקח עד שרואים תוצאה?
הווידאו מוזרם ישירות. החומרה מבוססת על הקצאה דינמית, כך שיש המתנה קצרה לתפיסת המעבד הגרפי ולאחר מכן הפריימים מתחילים להופיע בהדרגה.
איך משתמשים
מזינים טקסט, אפשר ללחוץ על כפתור ההרחבה כדי לשפר את הניסוח, ולוחצים על כפתור ההזרמה. המערכת מופעלת על מעבד גרפי מדגם A10G דרך תשתית ZeroGPU, כך שזמן העיבוד מתחלק בין משתמשים ועלול להתחיל בהשהיה קצרה של טעינת המודל לזיכרון לפני שהפריימים מתחילים לזרום.
הרישיון
הרישיון של המרחב לא דווח. בקוד המקור נכלל שימוש במודל Wan2.1 ובמשקולות מחקר מותאמות, אך בהיעדר הגדרה ברורה לא ידוע אם מותר להשתמש בתוצרים לצרכים מסחריים.