GPT
הוספת כלי
A

AnimateDiff-Lightning

קוד פתוח

ByteDancecreativeml-openrail-m2024-03-19

  • diffusers
  • text-to-video
  • stable-diffusion
  • animatediff

הפרויקט הזה מכווץ את זמן יצירת הווידאו מטקסט ומייצר תוצאות במהירות גבוהה פי עשרה מהמקור. הוא מתאים למי שרוצה וידאו מקומי בלי לחכות דקות ארוכות לכל קליפ קצר.

  • 6.8 GBמשקל הקבצים
  • 14,435הורדות בחודש
  • 999לייקים

מה זה

בייטדאנס לקחו את AnimateDiff SD1.5 v2 המוכר וביצעו עליו זיקוק כדי לקצר משמעותית את תהליך הדיפוזיה. במקום עשרות צעדים איטיים, המודל הזה מציע משקלים שעובדים בצעד אחד, שניים, ארבעה או שמונה צעדים בלבד. היצרנים מדווחים על ביצועים מהירים פי עשרה בהשוואה לגרסה המקורית, מה שהופך את היצירה מבוססת SD 1.5 למשהו שרץ כמעט בזמן אמת על חומרה מתאימה.

המודל תומך ביצירת וידאו מטקסט וגם בעיבוד וידאו לווידאו בעזרת קונטרול-נט. הוא תלוי לחלוטין במודל בסיס שאתם מצרפים אליו, כמו DreamShaper, Realistic Vision או מודלים בסגנון אנימה, ומקבל בוסט לתנועה כשמחברים לו Motion LoRA ייעודי.

מתאים ל

  • רינדור וידאו מהיר מקומי

    מתאים ליוצרים שרוצים לבדוק רעיונות ב־ComfyUI בשניות בודדות בלי להמתין דקות לכל דגימה.

  • הנפשת דמויות מווידאו קיים

    הסבת סרטוני תנועה לאנימציה דרך ControlNet OpenPose תוך שמירה על קצב הפריימים המקורי.

  • שילוב במוצרי יצירת תוכן

    הטמעה באפליקציות שזקוקות למחולל וידאו קצר מבוסס SD 1.5 בעלות חישוב נמוכה מאוד.

איפה זה נופל

גרסת הצעד הבודד אינה מיועדת לייצור, והחוקרים מבהירים שהיא שוחררה למטרות מחקר בלבד עקב איכות לא מספקת. בנוסף, המודל רגיש מאוד לאורך הווידאו ולרזולוציה, והבדיקות נעשו על קטעים קצרים ברזולוציית 576 על 1024 למשך 8 שניות בלבד, כך שניסיון לייצר קטעים ארוכים או חדים יותר צפוי להיכשל או להימרח.

בשימוש ב־Motion LoRAs תצטרכו להגביל את העוצמה לטווח שבין 0.7 ל־0.8, אחרת מופיעים סימני מים מכוערים על הפלט. בתהליכי וידאו לווידאו, רכיב DWPose נוטה להיתקע בממשק המשתמש בזמן שהוא ממשיך לעבוד ברקע, מה שדורש מכם לעקוב ידנית אחרי הלוגים כדי לדעת מתי הרינדור הסתיים.

שאלות
נפוצות

איזו גרסת צעדים כדאי להוריד לשימוש שוטף?

עדיף לבחור בגרסאות ה־2 צעדים או ה־4 צעדים. גרסת הצעד הבודד נועדה למחקר בלבד ומספקת איכות נמוכה, בעוד שגרסת 2 הצעדים מפיקה תוצאה טובה אפילו בחישוב של שלושה צעדים ומספקת את יחס המהירות והאיכות הטוב ביותר.

האם המודל עובד בעצמו ללא קבצים נוספים?

לא. מדובר במודל תנועה מזוקק שמחייב חיבור למודל בסיס רגיל של SD 1.5, כמו epiCRealism או ToonYou. כדי לקבל תוצאות טובות בתנועה מומלץ לחבר גם Motion LoRA ייעודי.

איך מריצים

אתם מריצים אותו מקומית דרך ספריית diffusers בפייתון או ישירות בתוך ComfyUI בעזרת צמתי AnimateDiff-Evolved ו־VideoHelperSuite. המאגר מכיל 6.8 גיגה-בייט שמחולקים לנקודות ביקורת שונות לפי כמות הצעדים הרצויה, כך שאתם מורידים רק את הקובץ שמתאים לעומס שלכם. גרסת 2 הצעדים נותנת תוצאות טובות כבר בשלושה צעדי חישוב, ואילו גרסת 4 או 8 צעדים מיועדת למי שדורש יותר פירוט.

להרצה מקומית תצטרכו כרטיס מסך שמסוגל להחזיק מודל SD 1.5 יחד עם שכבות התנועה והווידאו בזיכרון, במיוחד ב־v2v שדורש גם טעינת OpenPose. אם אין לכם חומרה ייעודית עם מספיק זיכרון וידאו פנוי, או שאתם בונים שירות שצריך לשרת משתמשים במקביל בלי להסתבך עם קריסות זיכרון, עדיף להריץ את הצינור דרך שרת ענן או API חיצוני.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("ByteDance/AnimateDiff-Lightning")
img = pipe("a photo").images[0]

הקבצים

18 קבצים במאגר, 6.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא creativeml-openrail-m, שזהה לרישיון המקורי של סטייבל דיפיוז'ן. מותר להשתמש בו לצרכים מסחריים ולשלב אותו במוצרים, אך חלות עליו הגבלות שימוש אתיות שאוסרות הפקת תכנים פוגעניים, מידע כוזב או הפרת חוק. אם אתם מפיצים את המשקלים או שירות שמבוסס עליהם, אתם מחויבים לכלול עותק של הרישיון ולהחיל את אותן מגבלות על המשתמשים שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗