GPT
הוספת כלי
S

SteadyDancer-14B

קוד פתוח

MCG-NJUapache-2.02025-11-24

  • diffusers
  • safetensors
  • i2v
  • image-to-video

הנפשת תמונות אדם תוך שמירה הדוקה על הפריים הראשון. המודל מתמקד במניעת עיוותי זהות לאורך הווידאו, בלי לדרוש את משאבי האימון המנופחים של שיטות מקבילות.

  • 16Bפרמטרים
  • 76.6 GBמשקל הקבצים
  • 1,162הורדות בחודש
  • 69לייקים

מה זה

הפרויקט הזה מגיע מקבוצת MCG באוניברסיטת נאנג'ינג וממעבדות טנסנט, והוא מיועד למשימת תמונה לווידאו שמתמקדת בגוף האנושי. הבעיה המרכזית בהנפשת דמויות היא נטייה לאבד את תווי הפנים, הבגדים והמבנה המקורי ברגע שהתנועה מתחילה. המפתחים בחרו לעבוד בתצורת תמונה לווידאו עם שימור ישיר של הפריים הראשון, במקום שיטות מבוססות רפרנס שסובלות מאי התאמה במרחב ובזמן.

למרות שהשם כולל את התיוג 14B, המשקל האמיתי עומד על 16,396,718,736 פרמטרים. הכרטיס לא מציג טבלאות מבחנים מספריות, אבל החוקרים טוענים שהגישה משיגה איכות תמונה ועקביות תנועה גבוהות יותר מהפתרונות הקיימים, לצד דרישות אימון נמוכות משמעותית. הוא מתחבר לספריית diffusers המוכרת, מה שמקל על שילוב שלו בצנרות קיימות.

מתאים ל

  • הנפשת תמונות אדם

    יצירת תנועה חלקה מתמונה בודדת תוך הימנעות משינוי תווי הפנים של הדמות לאורך הסרטון.

  • אנימציית ריקוד ותנועה

    ייצור סרטוני תנועה דינמיים מגוף שלם על בסיס צילום סטילס קיים.

  • מחקר בתחום תמונה לווידאו

    בחינת שיטות חדשות לשימור הפריים הראשון בהשוואה למודלים שמסתמכים על תמונת רפרנס.

איפה זה נופל

מעבר להצהרות הכלליות על עליונות מול שיטות קודמות, הכרטיס לא מספק מדדים כמותיים, זמני ריצה, או נתונים על רזולוציית הפלט. בנוסף, חוסר היציבות של תנועות מהירות או מורכבות תמיד מהווה מכשול בכלים כאלה, ותצטרכו לבדוק בעצמכם איך הוא מתמודד עם תנוחות לא שגרתיות או ידיים לפני שתסמכו עליו.

שאלות
נפוצות

כמה זיכרון וידאו צריך כדי להריץ את המודל?

הקבצים עצמם שוקלים 76.6 גיגה בייט, כך שתצטרכו מאיץ עם נפח זיכרון עצום או שילוב של כמה כרטיסים מקצועיים כדי להעלות אותו לזיכרון בלי קריסות.

האם המודל שומר על יציבות של הפנים והבגדים?

המפתחים בנו אותו במיוחד כדי למנוע את הסחף בזהות שמאפיין מודלים אחרים, תוך היצמדות מדויקת לפריים הראשון של התמונה.

אפשר להשתמש בו במוצר מסחרי?

כן, הרישיון הוא apache-2.0, שמתיר שימוש מסחרי חופשי בכפוף לתנאי הרישיון הרגילים.

איך מריצים

המשקלים שוקלים 76.6 גיגה בייט שמחולקים לעשרים וארבעה קבצים, כך שאין שום אפשרות להריץ אותו על חומרה ביתית פשוטה. מדובר במודל של מעל 16 מיליארד פרמטרים, מה שמחייב מאיצים גרפיים מקצועיים עם זיכרון וידאו רחב מאוד, או מערך מרובה כרטיסים רק כדי לטעון את כל השכבות.

אם אתם רוצים רק לבדוק כמה סרטונים או שאין לכם תשתית ענן ייעודית עם כרטיסים כבדים, עדיף לחפש שירות שמארח אותו או להמתין לממשקי ענן. החזקת שרת כזה באופן קבוע בשביל ניסויים ראשוניים תעלה לכם סכומים לא מבוטלים.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("MCG-NJU/SteadyDancer-14B")
img = pipe("a photo").images[0]

הקבצים

24 קבצים במאגר, 76.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0. מדובר ברישיון מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה פנימית או מסחרית, כל עוד שומרים על הודעת זכויות היוצרים והתנאים המקוריים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗