framepack-i2v

מה זה

מעלים תמונה של דמות, מקלידים תיאור של התנועה הרצויה באנגלית או בסינית, ומקבלים קובץ וידאו בפורמט MP4. האפליקציה כוללת דוגמאות טקסט של דמויות רוקדות או מבצעות תנועות גוף פשוטות. יש שליטה על פרמטרים כמו אורך הסרטון עד חמש שניות וקביעת Seed.

מאחורי הקלעים הקוד טוען את HunyuanVideo ואת FramePackI2V של lllyasviel יחד עם מעבד התמונה Siglip מתוך flux_redux_bfl. הדחיסה של FramePack מקבעת את גודל ההקשר בזיכרון, ובשילוב עם TeaCache היא מאפשרת עיבוד יעיל גם בעומסי זיכרון נמוכים.

מתאים ל

• הנפשת תמונות של דמויות

  הפיכת איור או צילום בודד של אדם לקטע תנועה קצר של ריקוד או מחווה.

• בדיקת תנועה מהירה

  בחינת תנועות פשוטות לקונספט ויזואלי לפני רינדור מורכב יותר.

• הרצה מקומית בחומרה חלשה

  שימוש בקוד עם FramePack על מחשבים עם כרטיסי מסך החל משישה גיגה זיכרון.

איפה זה נופל

ההגבלה הקשיחה היא חמש שניות בלבד, כך שלא תפיקו כאן קטעים ארוכים. יצירת הפריימים רצה בסדר הפוך, מסוף התנועה להתחלה, מה שיכול לתת תוצאות מוזרות במעברים מורכבים. בנוסף, האפליקציה שבורה כעת בממשק הרשת, כך שמי שרוצה להשתמש בה יצטרך לשכפל את הקוד או לתקן את החומרה.

איך משתמשים

לוחצים על כפתור ההפעלה אחרי הזנת התמונה וההנחיה, והווידאו נוצר בהדרגה מקצה הסרטון אחורה. הממשק תומך באנגלית ובסינית ואינו דורש התחברות. עם זאת, המרחב נמצא כרגע במצב שגיאת הגדרה (CONFIG_ERROR) ומוגדר על מעבד בסיסי בלבד, כך שאי אפשר להריץ אותו ישירות בדפדפן בחינם כרגע.

הרישיון

הפרויקט מופץ תחת רישיון MIT שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. אין הצהרה על שמירת התמונות המועלות, אך המודלים הבסיסיים כפופים לתנאי השימוש המקוריים שלהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗