AnimateDiff-Lightning — הדגמה

קוד פתוח

ByteDancecreativeml-openrail-m2024-03-20

gradio

הדגמה פשוטה מייצרת סרטוני וידאו קצרים מתיאור טקסט ישירות בדפדפן. היא מתאימה למי שרוצה לבדוק הנפשה מהירה של תמונות בלי להגדיר סביבת עבודה מקומית.

6.8 GBמשקל הקבצים
—הורדות בחודש
406לייקים

מה זה

אתם כותבים פרומפט באנגלית ובוחרים מודל בסיס מתוך שתי אפשרויות קיימות, epiCRealism או toonyou_beta6. בנוסף בוחרים תנועת מצלמה וכמות צעדים מתוך תפריטים נפתחים, ומקבלים קובץ וידאו מונפש.

מאחורי הקלעים רץ AnimateDiff-Lightning של ByteDance, שנשען על AnimateDiffPipeline ומשתמש ב־EulerDiscreteScheduler. המודל מתמקד בזיקוק תהליך היצירה למספר צעדים נמוך כדי לפלוט תוצאה במהירות, כשהתנועה מולבשת על מודלי הבסיס שהוגדרו מראש. המערכת כוללת גם בודק תוכן אוטומטי של CompVis שמתריע על תכנים לא הולמים.

מתאים ל

הנפשת דמויות מצוירות
יצירת קליפ קצר מסגנון אנימציה בעזרת שילוב עם מודל toonyou.
סרטוני תנועה ריאליסטיים
הפקת וידאו קצר מטקסט שנשען על מודל epiCRealism לתמונות אמינות.
בדיקת תנועות מצלמה
בחינת תנועות פאן או סיבוב מובנות על גבי סצנה מסוימת.

איפה זה נופל

הממשק מוגבל מאוד ומציע רק שני מודלי בסיס וארבע תנועות מצלמה מוגדרות מראש, ללא אפשרות לכוונן רזולוציה, זרעי אקראיות או משקלים ידנית. אם בודק התוכן מזהה תמונה בעייתית, הוא חוסם אותה ומציג אזהרת NSFW במקום פלט. בנוסף, חומרת zero-a10g עלולה לנתק משימות או להאט בתקופות עומס.

שאלות
נפוצות

האם השימוש בהדגמה עולה כסף?

הכלי זמין לשימוש חופשי בדפדפן ולא דורש תשלום. אין צורך להזין פרטי אשראי או לפתוח מנוי כדי לייצר וידאו. כל עוד השרת המשותף זמין, אפשר להריץ פניות ללא עלות.

מה קורה עם הטקסט והווידאו שנוצרים?

העיבוד נעשה על שרתי ההדגמה ומחזיר את הווידאו המוכן ישירות לרכיב התצוגה בעמוד. הקוד משתמש במזהה ייחודי זמני לייצוא הווידאו, אך אינו מציע אזור אישי לשמירת היסטוריה. מומלץ להוריד את הקובץ ישירות למחשב שלכם בסיום הריצה.

כמה זמן לוקח לייצר סרטון?

בגלל השימוש בגרסת Lightning בעלת מספר צעדים נמוך, היצירה עצמה אורכת שניות בודדות. יחד עם זאת, הזמן הכולל תלוי בזמינות חומרת zero-a10g ובעומס המשתמשים באותו רגע. אם השרת נמצא במצב המתנה, יידרש זמן קצר נוסף לאתחול.

האם אפשר להריץ את זה מקומית?

כן, הקוד מבוסס על ספריות diffusers ופורסם ברישיון MIT חופשי. אפשר להוריד את המשקלים ממאגר הדגמים ולהריץ אותם על מחשב עם מעבד גרפי תואם. גרסה מקומית תדרוש התקנת תלויות כמו פייתורץ וסביבת עבודה ייעודית.

איך מריצים

מקלידים הנחיה בתיבת הטקסט, בוחרים מודל בסיס, מגדירים תנועה ומספר צעדים, ולוחצים על כפתור השליחה. אין צורך בהתחברות או בהרשמה כדי להתחיל. הריצה מתבצעת על חומרת zero-a10g שמקצה משאבים לפי דרישה בעזרת spaces, כך שההמתנה תלויה בעומס הרגעי על השרת המשותף.

pip install -U huggingface_hub
hf download ByteDance/AnimateDiff-Lightning

הקבצים

18 קבצים במאגר, 6.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד פתוח תחת רישיון MIT שמאפשר שימוש חופשי כולל שינוי והפצה מסחרית. אין התייחסות מיוחדת בקוד לשמירת התכנים שנוצרים, אך הפלט כפוף להגבלות מודלי הבסיס ובודק התוכן של CompVis.

שימוש מסחרי
שינוי הקוד
מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗