HunyuanVideo-I2V

קוד פתוח

tencentother2025-03-05

image-to-video

הפיכת תמונה בודדת לווידאו של חמש שניות ברזולוציית 720p. אם אתם מחפשים קוד פתוח מלא להנפשת תמונות עם תמיכה בהרצה מקבילית על כמה כרטיסים, הוא מועמד בולט.

28.1 GBמשקל הקבצים
158הורדות בחודש
357לייקים

מה זה

הארכיטקטורה כאן לוקחת את מודל הווידאו המקורי ומרחיבה אותו לתמיכה בתמונה כמקור, בעזרת החלפת טוקנים ושילוב מקודד טקסט מבוסס מודל שפה מולטימודלי מסוג דקודר בלבד. המקודד מחלץ טוקנים סמנטיים מהתמונה ומשרשר אותם לטוקנים הלטנטיים של הווידאו, כך שמנגנון הקשב פועל על כל המידע יחד. המודל מייצר קטעים באורך של עד 129 פריימים ברזולוציה מקסימלית של 720p.

מבחינת ביצועים, מדידת הזמנים ברזולוציית 1280 על 720 מראה שכרטיס בודד דורש מעל 31 דקות, 1904.08 שניות בדיוק, בשביל לייצר סרטון של חמש שניות בחמישים צעדים. חלוקה לשמונה כרטיסים בעזרת ספריית xDiT מורידה את הזמן ל־337.58 שניות, שזה שיפור של פי 5.64, אבל עדיין משאיר אתכם באזור החמש וחצי דקות לפלט בודד.

מתאים ל

הנפשת תמונות סטילס
יצירת סרטוני תנועה של חמש שניות מתוך תמונה קיימת אחת, עם שליטה יחסית ביציבות התנועה מול דינמיות.
אימון אפקטים ייעודיים
פיתוח אפקטים ויזואליים מותאמים אישית בעזרת סקריפטים מובנים לאימון שכבות לורה.
עיבוד וידאו באשכול כרטיסים
הפקת וידאו בתשתית מרובת שרתים בזכות תמיכה מובנית במקבול מקטעים דרך xDiT.

איפה זה נופל

פרומפטים ארוכים או מפורטים מדי גורמים למודל לייצר מעברי סצנה מיותרים ולא רצויים, ולכן חייבים להיצמד להנחיות קצרות שמגדירות רק נושא ופעולה. בנוסף, המפתחים נאלצו להוציא עדכון משקלות כדי לפתור באג שגרם לשינוי זהות הדמויות במהלך הסרטון, כך שחובה לוודא שמשתמשים בקבצים המעודכנים.

זמן הריצה הוא צוואר בקבוק משמעותי. חצי שעה לכרטיס יחיד מונעת כל שימוש בזמן אמת בלי השקעה כבדה בחומרה מקבילית.

שאלות
נפוצות

האם אפשר להריץ אותו על מחשב ביתי עם כרטיס של 24GB?

לא. המודל דורש לפחות 60GB של זיכרון כרטיס מסך כדי לייצר וידאו ב־720p, כך שהוא לא יעלה על חומרת צרכנים רגילה.

איך שולטים על רמת התנועה בסרטון?

הסקריפט כולל דגל מובנה ליציבות ופרמטר היסט זרימה. ערך 7 מייצר וידאו יציב יותר עם פחות עיוותים, וערך 17 מאפשר תנועה חזקה ודינמית יותר.

איך מריצים

בכרטיס בודד, המינימום המוחלט להרצה ב־720p הוא כרטיס עם 60GB זיכרון, והמפתחים ממליצים על 80GB. אפשר להשתמש בדגל פריקה למעבד כדי לחסוך מקום, אבל זה יאט עוד יותר. אם תרצו לאמן עליו מתאמי לורה, תצטרכו 79GB זיכרון אפילו לרזולוציה נמוכה של 360p, אם כי את המודל המאומן תוכלו להריץ אחר כך ב־720p.

בפועל, כרטיס בודד מתאים בעיקר לבדיקות סבלניות. לשימוש שוטף תצטרכו אשכול מרובה כרטיסים עם תמיכה ב־xDiT או שתעדיפו להשתמש בשירות ענן מנוהל שמחזיק שרתי H100 זמינים.

pip install -U huggingface_hub
hf download tencent/HunyuanVideo-I2V

הקבצים

10 קבצים במאגר, 28.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון בעמוד מסומן כ־other ולא כרישיון קוד פתוח סטנדרטי. במצב כזה אי אפשר להניח שמותר להשתמש בו באופן מסחרי, וצריך לבדוק את קובצי הרישיון המצורפים במאגר הגיטהאב כדי להבין מה המגבלות על שילוב במוצר.

הרישיון המלא בעמוד המודל ↗