AnimateLCM — הדגמה
קוד פתוחwangfuyunרישיון לא דווח2024-02-03
ממשק לייצור אנימציות ווידאו מטקסט באמצעות שילוב של מודלי תמונה ודילול שלבי דגימה. הוא מיועד למי שרוצה לבדוק יצירת קטעי וידאו קצרים מהנחיות כתובות בלי להגדיר סביבת עבודה מקומית.
- 454Mפרמטרים
- 4.3 GBמשקל הקבצים
- —הורדות בחודש
- 198לייקים
מה זה
אתם מזינים תיאור טקסטואלי, פרומפט שלילי, ובוחרים מודל בסיס מתוך רשימה שנשענת על גרסאות ישנות של סטייבל דיפיוז'ן יחד עם שכבות התאמה מסוג לורה. בממשק יש הגדרות למימדי התמונה, אורך הסרטון בפריימים, מספר צעדי הדגימה וערך סיד. הפלט שמתקבל בסוף התהליך הוא קובץ וידאו קצר.
מאחורי הקלעים הקוד משתמש בארכיטקטורת יונט תלת ממדית ובמתזמן של שיטת עקביות רציפה, שנועדה לאפשר ייצור סרטונים במעט צעדים בהשוואה למודלי דיפוזיה רגילים. לפי הקוד, יש דוגמה מובנית של ילד שמחזיק ארנב, שממחישה אנימציה שנוצרת ישירות מהטקסט ללא צורך בהעלאת תמונת מקור.
מתאים ל
- בדיקת פרומפטים לווידאו
ניסוי מהיר של תיאורים טקסטואליים שונים כדי לראות איך מודלי אנימציה קצרים מפרשים תנועה בסיסית.
- שילוב סגנונות בלורה
בדיקה של השפעת משקלי לורה שונים על התנועה והמראה של הסרטון שנוצר ממודל הבסיס.
- הערכת מהירות אלגוריתם
בחינה של איכות הפלט לעומת מספר צעדי הדגימה הנמוך שמציע מתזמן העקביות.
איפה זה נופל
הבעיה המיידית היא שהמרחב הזה פשוט לא עובד כרגע ונתקע בשלב הבנייה, כך שאי אפשר להריץ אותו ישירות בדפדפן. בנוסף, המודל הבסיסי מתבסס על סטייבל דיפיוז'ן אחד חמש, שמתקשה מאוד ברינדור פרצופים מורכבים ופרטים קטנים בתנועה. אל תצפו לסרטונים ארוכים או לאיכות גבוהה, האורך מוגבל למספר פריימים בודד ברזולוציה בסיסית.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
לא, הגישה לממשק באתר היא ללא תשלום. עם זאת, נכון לעכשיו היא תקועה במצב שגיאה ולא מאפשרת הרצה.
למה האפליקציה לא מייצרת לי סרטון?
הקוד של הממשק נכשל בבנייה בשרת של האתר. עד שהמפתח לא יתקן את קובצי התלויות או ההגדרות, שום כפתור לא יפעל.
האם אפשר להריץ את זה על המחשב שלי במקום?
כן, הקוד הועלה במלואו לקובצי המאגר וכולל את התלויות הנדרשות. אם יש לכם מחשב עם כרטיס מסך מתאים וסביבת פייתון, אפשר למשוך את הקבצים ולהריץ מקומית.
האם התוכן שאני מקליד נשאר פרטי?
הקלטים מעובדים דרך שרתי השירות של האפליקציה. בהיעדר הצהרת פרטיות ורישיון מוגדרים, לא מומלץ להזין טקסטים רגישים או סודיים.
איך מריצים
בפועל אתם בוחרים מודל בסיס, מתאימים את המשקל של קובצי הלורה בסליידרים, כותבים הנחיה ולוחצים על כפתור הייצור. ההגדרה מיועדת לרוץ על מעבד גרפי מדגם איי עשר ג'י, שאמור לחשב סרטון כזה בתוך כמה שניות עד חצי דקה בגלל מספר הצעדים הנמוך. עם זאת, אין צורך להתאמץ כרגע, האפליקציה נמצאת בשגיאת בנייה ולחיצה על הכפתור בכלל לא תתחיל תהליך עד שהיוצר יתקן את ההתקנה.
pip install -U huggingface_hub hf download wangfuyun/AnimateLCM
הקבצים
7 קבצים במאגר, 4.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון לא דווח בעמוד של האפליקציה. המשמעות היא שאין הרשאה ברורה להשתמש בתוצרים לצרכים מסחריים, ומבחינה משפטית הסטטוס של הקוד והמשקלים נשאר לא מוגדר עד שהמפתח יעדכן תנאי שימוש.