GPT
הוספת כלי
W

Wan2.2-Fun-Reward-LoRAs

קוד פתוח

alibaba-paiapache-2.02025-09-03

  • videox_fun
  • text-to-video

אוסף מתאמי LoRA שנועד לכוונן סרטונים ממודל הבסיס של עליבאבא להעדפות אסתטיות אנושיות. שילוב שלהם משפר את מראה הפריימים בלי לאמן מחדש מודל ענק.

  • 3.2 GBמשקל הקבצים
  • 29,509הורדות בחודש
  • 75לייקים

מה זה

המאגר הזה מכיל ארבעה קובצי משקולות שפותחו על בסיס טכניקת Reward Backpropagation. הרעיון כאן הוא חיבור מתאמים קלים ישירות למודל Wan2.2-Fun-A14B-InP, כדי להעלות את איכות הפלט לפי מודלי תגמול חיצוניים של תמונות כמו HPS v2.1 ו־MPS. כל המתאמים אומנו עם rank 128 ו־alpha 64 על גודל אצווה של 8.

החלוקה היא לפי שלבי הרעש בריצה, מתאם אחד לשלב הרעש הגבוה ואחד לשלב הנמוך. במקום להסתפק בווידאו הגולמי של מודל הבסיס, ההרצה המשולבת דוחפת את הצבעים, החדות והקומפוזיציה לכיוון שמשתמשים דירגו כנעים יותר לעין.

מתאים ל

  • שיפור אסתטיקה בווידאו קיים

    חיבור ישיר למודל ה־14B כדי לקבל פריימים חדים ונקיים יותר לפי העדפות אנושיות.

  • אימון LoRA מותאם אישית

    שימוש בתסריטי ההרצה שמצורפים לפרויקט כדי לאמן משקולות על מודל תגמול פנימי משלכם.

  • בדיקת איכות בשלבי הרעש

    שליטה נפרדת במתאם עבור שלב הרעש הגבוה ושלב הרעש הנמוך במהלך הדיפוזיה.

איפה זה נופל

המתאמים אומנו על מודלי העדפה של תמונות בודדות ולא של וידאו, מה שפוגע בדינמיות ובתנועה של הסרטון. היוצרים מודים שהאימון גורם למודל ללמוד קיצורי דרך, כמו הוספת ארטיפקטים ברקע כדי לעבוד על מדד הציון בלי לשפר באמת את התוכן. בנוסף, גרסת MPS למודל הרעש הנמוך מתכנסת לאט ולא מביאה לתוצאות טובות, ולכן הם ממליצים לא להשתמש בה.

שאלות
נפוצות

האם אפשר להריץ את הקבצים האלה לבד?

לא. מדובר במתאמי LoRA שדורשים את מודל הבסיס Wan2.2-Fun-A14B-InP כדי לעבוד.

איזה שילוב מתאמים הכי מומלץ לפי היוצרים?

עבור שלב הרעש הנמוך מומלץ לקחת את HPSv2.1 כי גרסת ה־MPS לא הגיעה לתוצאות טובות. בשלב הרעש הגבוה אפשר לבחור בין HPS ל־MPS לפי התוצאה הרצויה.

איך מריצים

הקבצים שוקלים 3.2 גיגה בייט בסך הכול, אבל הם לא רצים לבד. אתם חייבים להחזיק זיכרון מסך עבור מודל הבסיס של ה־14 מיליארד פרמטרים, שמצריך חומרה כבדה מאוד של שרתים עם כרטיסי A100 או H100 כדי להפיק סרטונים בקצב הגיוני.

בפועל טוענים את המתאמים דרך ספריית videox_fun, ומגדירים בקובץ התסריט את המשקולות לשלבי הרעש השונים, למשל שילוב של HPS לנמוך ו־MPS לגבוה. אם אין לכם גישה לשרת ייעודי כזה, אין טעם להוריד את המשקולות למחשב האישי, ועדיף להסתמך על נקודת קצה מרוחקת בענן.

pip install -U huggingface_hub
hf download alibaba-pai/Wan2.2-Fun-Reward-LoRAs

הקבצים

7 קבצים במאגר, 3.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט שוחרר ברישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקבצים ולשלב אותם בכל מוצר, ובלבד שמצרפים את הרישיון המקורי ומציינים את זכויות היוצרים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗