tencent/HunyuanVideo

קוד פתוח

tencentother2024-12-01

text-to-video

מודל פתוח שמייצר וידאו מטקסט עם יותר מ־13 מיליארד פרמטרים. הוא מיועד למי שרוצה איכות ברמה של שירותים סגורים ומחזיק חומרת שרתים מתאימה.

37.1 GBמשקל הקבצים
799הורדות בחודש
2,284לייקים

מה זה

מדובר במודל ליצירת וידאו מטקסט שמפיק קטעים באורך של 129 פריימים, שזה בערך 5 שניות, ברזולוציה שמגיעה עד 720p. הוא משלב ארכיטקטורת שנאי היברידית עם מפענח 3D VAE שדוחס את הווידאו במרחב ובזמן, ובמקום מקודדי טקסט רגילים כמו T5 או CLIP, הוא רותם מודל שפה מולטימודלי שלם כדי להבין הוראות מורכבות.

במבחני הערכה מול בוחנים אנושיים שבדקו 1,533 פרומפטים, המודל עקף פתרונות כמו Runway Gen-3 ו־Luma 1.6 בתנועה ובדיוק מול הטקסט. הנתונים האלה מראים יתרון מובהק באיכות הפיזיקה והתנועה, אם כי צריך לזכור שהבדיקות בוצעו על גרסת איכות גבוהה, בעוד הקוד ששוחרר כרגע הוא גרסה מהירה יותר.

מתאים ל

ייצור תוכן וידאו מבוסס טקסט
יצירת קטעי וידאו של 5 שניות ב־720p ישירות מתיאור מילולי מפורט ללא צורך במצלמה.
אוטומציה לשיווק ופרסום
הפקת חומרי גלם ויזואליים באיכות גבוהה על גבי שרתי GPU ייעודיים.
מחקר ופיתוח מודלי תנועה
בסיס פתוח של 13 מיליארד פרמטרים לבדיקת ארכיטקטורות של 3D VAE ותנועה בווידאו.

איפה זה נופל

המודל דורש משאבי ענק רק כדי לעלות לזיכרון, מה שנועל אותו מחוץ לכרטיסי מסך ביתיים ללא שימוש בהרחבות קהילה קיצוניות. הכרטיס מציין במפורש שההערכות המרשימות נעשו על גרסה איכותית יותר מזו ששוחררה בפועל, כך שהתוצאה בשטח עשויה להיות פחות מלוטשת. בנוסף, מצב השכתוב המתקדם של הפרומפטים נוטה לאבד פרטים סמנטיים מהבקשה המקורית לטובת מראה קולנועי ותאורה.

שאלות
נפוצות

האם אפשר להריץ את המודל על כרטיס מסך ביתי כמו RTX 4090?

לא באופן רשמי מהקוד הנוכחי. הדרישה המינימלית עומדת על 45GB של זיכרון וידאו לרזולוציה נמוכה ו־60GB לרזולוציה מלאה, כך שכרטיס של 24GB פשוט לא יספיק בלי כימוס אגרסיבי במיוחד.

כמה זמן לוקח לייצר סרטון בודד?

על כרטיס בודד של 80GB התהליך נמשך מעל 31 דקות ל־129 פריימים. אם מפצלים את העבודה על שמונה כרטיסים באמצעות תמיכת xDiT, זמן הריצה יורד לחמש וחצי דקות.

איך מריצים

כדי להריץ אותו בכרטיס יחיד ברזולוציית 720p מלאה תצטרכו לפחות 60GB של זיכרון וידאו, ובפועל מומלץ כרטיס של 80GB כמו A100 או H100. לרזולוציית 544p המינימום יורד ל־45GB. שחרור משקולות בפורמט FP8 חוסך בערך 10GB מהזיכרון הנדרש, וטעינה עם פריקת רכיבים למעבד המרכזי עוזרת להידחק למגבלות האלה.

בריצה מבוזרת על שמונה כרטיסים בעזרת ספריית xDiT, יצירת סרטון שלם ב־50 צעדים אורכת כמעט 6 דקות, לעומת יותר מחצי שעה על כרטיס בודד. מי שאין לו גישה לאשכול שרתים כזה ישלם פחות אם יפנה ל־API חיצוני או לענן שמחזיק את התשתית הזו מוכנה.

pip install -U huggingface_hub
hf download tencent/HunyuanVideo

הקבצים

10 קבצים במאגר, 37.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון בעמוד מסומן כ־other ולא כרישיון קוד פתוח סטנדרטי דוגמת MIT או אפאצ'י. מומלץ לבדוק היטב את תנאי הקובץ במאגר לפני הטמעה במוצר מסחרי, כי מודלים מהסוג הזה כוללים לעיתים מגבלות הפצה או דרישות שימוש הוגן.

הרישיון המלא בעמוד המודל ↗