MiniMax-H3-Acc-LoRAs

מה זה

מדובר בצמד משקלי LoRA רשמיים שפותחו על ידי עליבאבא כדי להאיץ את תהליך ההסקה של MiniMax-H3. הרעיון נשען על שיטה בשם Parallel Decoding Distillation, שמזקקת את תהליך הרינדור וחוסכת עשרות צעדים חישוביים, כך שמגיעים לווידאו מוכן בשמונה צעדים בלבד.

המאגר כולל התאמות ייעודיות לשתי גרסאות של מודל הבסיס: אחת עבור FL2VA ברזולוציה של 768p ואחת עבור Ref2VA. המשקלים שמורים בפורמט safetensors בדיוק של BF16 עם rank ו־network_alpha של 64. הם לא באים להחליף את המודל הגדול אלא מתלבשים עליו כדי לקצר את זמן ההמתנה לכל פריים.

מתאים ל

• האצת רינדור מקומי

  קיצור זמן יצירת הווידאו בשרתים עצמאיים למי שכבר מריץ את MiniMax-H3 ורוצה לקבל סרטון בשמונה צעדים.

• עבודה עם תמונת פתיחה

  שימוש בגרסת FL2VA להנפשת תמונות במהירות של 768p בלי לחכות לזמני ההסקה הרגילים והארוכים.

• יצירת וידאו על בסיס רפרנס

  הרצת מודל Ref2VA עם מתאם Acc LoRA תואם, שמייצר סרטון בהתבסס על קלט ייחוס בכמות צעדים נמוכה.

איפה זה נופל

החיסרון הברור ביותר הוא שהמתאמים האלה לא עובדים לבד, אתם חייבים להוריד ולהחזיק את מודל הבסיס MiniMax-H3 המלא. מעבר לכך, הכרטיס לא מציג מדדים כמותיים רשמיים על איכות התוצאה אלא רק סרטוני הדגמה מול פתרונות אחרים כמו Minimax-h3-Turbo. קיצור תהליך ההסקה לשמונה צעדים עלול לפגוע בפרטים קטנים או בעקביות התנועה בהשוואה להסקה מלאה ואיטית, וצריך לבדוק בפועל אם איכות הווידאו עומדת ברף הנדרש שלכם.

איך מריצים

כדי להריץ אותם תצטרכו קודם כל את מודל הבסיס המלא של MiniMax-H3, מפני שהמשקלים כאן שוקלים כ־2.6 גיגה-בייט וכוללים רק את שכבות ה־LoRA. ההרצה דורשת סביבת פייתון עם diffusers בגרסה 0.40.0 ומעלה, ושימוש בקוד מתוך המאגר VideoX-Fun שמספק סקריפטים מוכנים בשם predict_t2v.py או predict_ref2v.py בהתאם לסוג המשימה.

מבחינת חומרה, כיוון שמדובר במודל וידאו כבד שרק מואץ, עדיין צריך מאיץ גרפי חזק מאוד עם נפח VRAM משמעותי כדי להחזיק את מודל הבסיס עצמו. אם אין לכם שרת ייעודי עם כרטיס מתאים, סביר להניח ששירות ענן או API חיצוני יהיו פתרון מעשי וזול יותר מהרמה של תשתית כזו מאפס.

pip install -U huggingface_hub
hf download alibaba-pai/MiniMax-H3-Acc-LoRAs

הקבצים

29 קבצים במאגר, 2.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• MiniMax-H3-FL2VA-Acc-8Step.safetensors1.4 GB
• MiniMax-H3-Ref2VA-Acc-8Step.safetensors1.4 GB
• results/minimax_h3_fl2va_turbo_4step_v1.1_768p_2.mp49.8 MB
• results/minimax_h3_fl2va_acc_8step_v1_2.mp48.8 MB
• results/minimax_h3_fl2va_baseline_2.mp47.7 MB
• results/minimax_h3_ref2va_acc_8step_v1_1.mp46.1 MB
• results/minimax_h3_ref2va_baseline_1.mp45.9 MB
• results/minimax_h3_ref2va_turbo_4step_v0.1_768p_1.mp45.3 MB
• results/minimax_h3_ref2va_baseline_3.mp44.9 MB
• results/minimax_h3_ref2va_acc_8step_v1_3.mp44.2 MB
• results/minimax_h3_ref2va_turbo_4step_v0.1_768p_3.mp43.7 MB
• results/minimax_h3_fl2va_turbo_4step_v1.1_768p_3.mp42.3 MB
• results/minimax_h3_ref2va_acc_8step_v1_2.mp42.0 MB
• results/minimax_h3_fl2va_acc_8step_v1_3.mp42.0 MB
• results/minimax_h3_fl2va_baseline_3.mp41.8 MB
• results/minimax_h3_ref2va_baseline_2.mp41.7 MB
• results/minimax_h3_ref2va_turbo_4step_v0.1_768p_2.mp41.0 MB
• results/minimax_h3_fl2va_turbo_4step_v1.1_768p_1.mp4893.3 KB
• results/minimax_h3_fl2va_acc_8step_v1_1.mp4851.8 KB
• results/minimax_h3_fl2va_baseline_1.mp4835.6 KB
• asset/ref2va_test_5_2.jpg378.0 KB
• asset/ref2va_test_5_3.jpg341.2 KB
• asset/ref2va_test_5_4.jpg189.4 KB
• asset/ref2va_test_5_1.jpg71.9 KB
• minimax_h3_pdd.py11.3 KB
• predict_ref2v.py7.7 KB
• README.md7.3 KB
• .gitattributes3.2 KB
• predict_t2v.py2.7 KB

הרישיון

הרישיון של המאגר מסומן כ־other, מה שאומר שאין כאן רישיון קוד פתוח סטנדרטי ומוכר כמו MIT או Apache. תנאי השימוש הספציפיים, כולל השאלה האם מותר להשתמש במתאמים לצרכים מסחריים או להטמיע אותם במוצר, תלויים ברישיונות של MiniMax-H3 ושל פרויקט VideoX-Fun. מומלץ לבדוק את המסמכים במאגרים המקוריים לפני שמשלבים אותם בקוד ייצורי.

הרישיון המלא בעמוד המודל ↗