GPT
הוספת כלי
W

Wan2.1-Fun-Reward-LoRAs

קוד פתוח

alibaba-paiapache-2.02025-03-31

  • videox_fun
  • video
  • video-generation
  • text-to-video
  • en

תוספי LoRA שמשפרים את איכות הווידאו של מודלי הבסיס מסדרת Wan2.1. הם מתאימים למי שמחפש אסתטיקה גבוהה יותר בלי לאמן מודל שלם מחדש.

  • 3.5 GBמשקל הקבצים
  • 4,986הורדות בחודש
  • 60לייקים

מה זה

המאגר מכיל מתאמי LoRA שפותחו באמצעות שיטת Reward Backpropagation. הרעיון כאן הוא לקחת את מודלי יצירת הווידאו Wan2.1-Fun, בגרסאות 1.3B ו־14B, ולכוונן אותם מול מודלי תגמול חיצוניים כדי לקבל תוצאות שקרובות יותר להעדפות אסתטיות אנושיות.

הצוות שחרר ארבעה קבצים מרכזיים, שמתחלקים לפי שני מודלי תגמול שונים, HPS v2.1 ו־MPS. כל המתאמים אומנו עם rank של 128 ו־alpha של 64, ומולבשים ישירות מעל מודל הבסיס. הם משפרים בעיקר את הנראות של הפריימים הבודדים, הפירוט החזותי והדיוק מול הפרומפט, במקום להשאיר את הווידאו ברמת ברירת המחדל.

מתאים ל

  • שיפור אסתטיקה בווידאו

    חיבור מהיר למודל Wan2.1 קיים שמפיק פריימים חדים ונקיים יותר בלי לאמן מחדש.

  • התאמת תוכן לטקסט מורכב

    שימוש במשקולות HPS או MPS לקבלת היצמדות טובה יותר לתיאורים עמוסי פרטים.

  • מחקר ואימון מתאמים מותאמים

    בסיס וסקריפטים מוכנים למי שרוצה לאמן LoRA מול פונקציית תגמול ייעודית משלו.

איפה זה נופל

מודלי התגמול ששימשו לאימון הם מודלים של תמונות סטטיות, ולכן הם לא מבינים תנועה לאורך ציר הזמן. התוצאה הישירה היא ירידה ברמת הדינמיות של הווידאו, שמרגיש לעיתים קפוא יותר. בנוסף, המפתחים מודים שאימון יתר גורם למודל לרמות את מדד התגמול באמצעות הוספת ארטיפקטים ורעש ברקע במקום שיפור אמיתי.

שאלות
נפוצות

האם הקבצים האלה יכולים לייצר וידאו בפני עצמם?

לא. מדובר במשקולות LoRA בלבד ששוקלות 3.5 גיגה-בייט סך הכול. כדי לייצר וידאו חייבים להוריד ולהריץ ברקע את מודל הבסיס Wan2.1-Fun בגרסת 1.3B או 14B המתאימה.

באיזה משקל כדאי להשתמש בזמן הריצה?

היוצרים ממליצים להגדיר משקל של 0.5 עבור גרסת 1.3B עם HPSv2.1, ומשקל של 0.7 עבור יתר השילובים. משקל גבוה מדי עלול לפגוע בתנועה של הווידאו או לייצר ארטיפקטים ברקע.

האם המודל מבין פרומפטים בעברית?

המודל הוגדר ותועד עבור אנגלית וסינית בלבד. אם תזינו הנחיות בעברית התוצאות יהיו בלתי צפויות, ולכן עדיף לתרגם את הפרומפט לאנגלית לפני השליחה.

איך מריצים

טוענים את הקבצים בסקריפט predict_t2v של ספריית videox_fun, ומגדירים את הנתיב לקובץ ואת המשקל הרצוי. היוצרים ממליצים על משקל של 0.5 עד 0.7 בהתאם לשילוב בין הגרסה למודל התגמול.

המשקלים עצמם שוקלים 3.5 גיגה-בייט, אבל כדי להריץ אותם תהיו חייבים להחזיק בזיכרון את מודל הבסיס של Wan2.1. אם בחרתם בגרסת ה־1.3B תסתדרו עם כרטיס מסך בודד בעל זיכרון סביר, אבל עבור גרסת ה־14B כבר תצטרכו חומרה כבדה ויקרה. במקרה כזה, מי שלא מחזיק שרת ייעודי יעדיף שירותי ענן.

pip install -U huggingface_hub
hf download alibaba-pai/Wan2.1-Fun-Reward-LoRAs

הקבצים

7 קבצים במאגר, 3.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט משוחרר תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הקוד והמשקלים, והפצה מחדש בתוך מוצרים סגורים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים המקורית וצירוף עותק של הרישיון. אתם יכולים לשלב את הקבצים הללו במוצר שלכם בלי לשלם תמלוגים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗