GPT
הוספת כלי
M

MiniMax-H3-Fun-Controlnet-Union

קוד פתוח

alibaba-paiother2026-08-24

  • videox_fun
  • controlnet
  • video-to-video
  • text-to-video
  • image-text-to-video

תוספת בקרה אחת של כ־6.8 גיגה-בייט למודל MiniMax-H3 שמסוגלת לשלוט בווידאו בעזרת מגוון תנאים כמו תנועה ועומק בלי להחליף קבצים.

  • 6.4 GBמשקל הקבצים
  • 9,047הורדות בחודש
  • 174לייקים

מה זה

הפרויקט הזה מביא שכבת בקרה מאוחדת מסוג ControlNet-Union שנבנתה מעל מודל הווידאו MiniMax-H3. במקום להוריד מודל שונה לכל סוג קלט, קובץ יחיד מטפל בווידאו מבוסס Canny, Depth, HED, MLSD, פוזות גוף וגם עריכת וידאו באמצעות Inpainting. החיבור נעשה לחמישה מתוך חמישים בלוקים בטרנספורמר הראשי דרך שכבות ייעודיות.

המשקולות עברו זיקוק הכוונה, מה שאומר שמריצים אותן עם guidance_scale שמוגדר בדיוק על 1.0. זה חוסך ריצה כפולה בכל צעד הסקה ומקצר את הזמנים, אך מחייב לדייק בהנחיות הטקסט של הסצנה, הדמות והמצלמה כדי לקבל תוצאות יציבות. היצירה שומרת על יחס התמונה של סרטון הבקרה, נעולה על 24 פריימים לשנייה, ומוגבלת לאורך מקסימלי של 15 שניות.

מתאים ל

  • הנפשת תנועה לפי שלד

    שליטה מלאה בתנועות דמות בווידאו על בסיס קלט Pose קיים, בלי לקפוץ בין צ'קפוינטים שונים.

  • החלפת רקעים לפי עומק

    יצירת סביבה חדשה תוך שמירה על המרחקים והגאומטריה המקורית של האובייקטים בעזרת Depth.

  • עריכת מקטעים בווידאו

    ביצוע Inpainting ישירות ברמת הווידאו דרך שכבת קלט מורחבת של 49 ערוצים המשלבת מסיכות.

איפה זה נופל

אורך הווידאו מוגבל לקשת מקסימלית של 15 שניות, ומספר הפריימים ננעל לפי מגבלות הפיענוח של ה־VAE לחישוב של 17 כפול n ועוד 5. אסור להעלות את ערך ההכוונה מעל 1.0 כי זה מפעיל חישוב כפול והורס את הווידאו. בנוסף, המודל אינו תומך בבקרת אודיו, והקנבס חייב להתאים לתקציב פיקסלים שמתחלק ב־32.

שאלות
נפוצות

האם אפשר להריץ את המודל הזה על מחשב אישי רגיל?

לא. משקולות הבקרה אמנם קטנות, אך מודל הבסיס ורכיב עיבוד השפה שוקלים יחד מעל 120 גיגה-בייט. תצטרכו כרטיס מקצועי של 80 גיגה-בייט לפחות, וגם אז תהיו חייבים להפעיל פריקת זיכרון ל־CPU כדי לא לקרוס.

למה התוצאה נראית מרוחה כשאני מעלה את ערך ה־guidance?

המודל אומן בשיטת זיקוק ולכן חייב לרוץ עם ערך קבוע של 1.0 בלבד. ערכים גבוהים יותר מיישמים את ההכוונה פעמיים ופוגעים ישירות באיכות הפלט.

איך מריצים

הקובץ הזה לבדו שוקל 6.4 גיגה-בייט וכולל רק את ענף הבקרה. כדי להריץ תצטרכו להוריד גם את מודל הבסיס MiniMax-H3 ואת הקידוד של Qwen3-VL, שניהם שוקלים יחד מעל 120 גיגה-בייט. מעבד גרפי יחיד של 80 גיגה-בייט לא יחזיק את כולם בזיכרון בבת אחת ללא פתרונות פריקה לזיכרון המערכת כמו model_group_offload או שימוש בקוונטיזציה של שמונה ביט.

הקוד דורש שימוש בריפו VideoX-Fun והגדרת קובץ קונפיגורציה מדויק עם חיבור לשכבות 0, 10, 20, 30 ו־40. אם תשנו את מבנה השכבות בקונפיגורציה, המשקולות פשוט לא ייטענו.

pip install -U huggingface_hub
hf download alibaba-pai/MiniMax-H3-Fun-Controlnet-Union

הקבצים

16 קבצים במאגר, 6.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד מופץ תחת רישיון קהילתי ייעודי של MiniMax H3. הוא אינו רישיון קוד פתוח חופשי, וכולל הגבלות טריטוריאליות ומדיניות שימוש מחייבת שיש לבדוק לפני הטמעה מסחרית במוצר.

הרישיון המלא בעמוד המודל ↗