ginigen/framepack-i2v

מה זה

אתם מעלים תמונה בעורך התמונות ומוסיפים תיאור טקסטואלי של התנועה הרצויה. אפשר גם לסמן תיבה שמורה להתעלם מהתמונה ולייצר סרטון מטקסט בלבד. בצד הפלט מקבלים תצוגה מקדימה וקובץ וידאו מוגמר בפורמט MP4.

מאחורי הקלעים הקוד מחבר בין HunyuanVideo בגרסה דחוסה, מודלי FramePack של lllyasviel, ומודל flux_redux_bfl. עיבוד הטקסט נעשה בעזרת Llama ו־CLIP, ועיבוד התמונה רץ דרך Siglip. הדוגמאות המוכנות מראש מציגות בעיקר דמויות רוקדות עם תנועות גוף מפורטות ובגדים מתנופפים.

מתאים ל

• הנפשת תמונות סטילס

  העלאת תמונת דמות והוספת הנחיה טקסטואלית כדי לייצר סרטון קצר עם תנועה.

• יצירת וידאו מטקסט

  סימון האפשרות להתעלמות מהתמונה והפקת קליפ מבוסס פרומפט בלבד.

• בדיקת שילוב FramePack

  בחינת קוד המקור שמחבר את HunyuanVideo עם טכניקות הדחיסה של lllyasviel.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה פשוט מושבתת ברמת השרת, כך שאי אפשר להפיק ממנה דבר בדפדפן. הדוגמאות של דמויות רוקדות יוצרות רושם של אנימציה מורכבת וחלקה, אך הקוד דורש ערימת מודלים עצומה ומשאבי זיכרון כבדים שאינם זמינים בחומרה החינמית.

איך משתמשים

לוחצים על Start Generation לאחר בחירת תמונה והזנת פרומפט, ויש אפשרות לעצור באמצע עם Stop Generation. בהגדרות המתקדמות אפשר לקבוע את אורך הסרטון בשניות, מספר הצעדים, ערכי CFG, ושימוש ב־TeaCache.

בפועל אי אפשר להריץ אותה כרגע כי המרחב נמצא במצב PAUSED ומוגדר על חומרת cpu-basic בסיסית. מודלים כבדים כאלה פשוט לא יכולים לרוץ על מעבד רגיל ללא מאיץ גרפי ייעודי.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי. אין מידע ספציפי לגבי שמירת התמונות המועלות או הסרטונים שנוצרים, מעבר לתנאי הפלטפורמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗