AnimateLCM-SVD
רץ בדפדפןwangfuyunרישיון לא דווח2024-02-26
מעלים תמונת סטילס ומקבלים קטע וידאו מונפש תוך שניות בודדות. זה מיועד למי שרוצה לבדוק הנפשה מהירה של תמונות בלי להמתין לעיבוד הארוך הרגיל של מודלי וידאו.
- —הורדות בחודש
- 358לייקים
מה זה
אתם מעלים תמונה בודדת לממשק ומקבלים קובץ וידאו קצר שמפיח בה תנועה. מתחת למכסה המנוע רץ שילוב בין Stable Video Diffusion של Stability AI לבין טכניקת הזיכוך של AnimateLCM. הרעיון כאן הוא לקחת מודל כבד שמייצר וידאו מתמונות ולחתוך דרסטית את מספר צעדי הדגימה הנדרשים ליצירת כל פריים, בעזרת מתזמן ייעודי שנבנה לפרויקט.
בנוסף למודל הווידאו הבסיסי, הקוד טוען משקולות מותאמות של AnimateLCM-SVD-xt ונעזר במודלים של CLIP וגרסאות תמונה כדי לנתח את הקלט. יש בממשק גם אזור הגדרות מתקדמות שבו אפשר לקבוע את כמות התנועה, קצב הפריימים, ממדי הווידאו ומספר צעדי הריצה, יחד עם דוגמאות מוכנות מראש שנטענו עם קובצי מטמון כדי שאפשר יהיה לבדוק תוצאות מיד.
מתאים ל
- הנפשת תמונות סטילס
מעלים דיוקן או ציור ומקבלים קליפ קצר עם תנועת מצלמה או רקע מונפש.
- בדיקת תנועה מהירה
בוחנים רעיונות ויזואליים בתוך שניות לפני ששולחים אותם לרינדור כבד וממושך.
- ניסוי בהגדרות דגימה
משנים את מדדי התנועה ומספר הצעדים כדי לראות איך אלגוריתם הזיכוך משפיע.
איפה זה נופל
ההדגמה מיועדת לייצור סרטונים קצרים מאוד ואינה בונה סצנות מורכבות או עלילה. מאחר שמדובר בזיכוך שמאיץ את התהליך על חשבון חלק מהחישובים, התנועה עלולה להיראות מעוותת או מטושטשת סביב קצוות ופרטים עדינים. הדוגמאות השמורות בממשק מציגות מקרים שבהם התנועה עובדת חלק, אך תמונות מהחיים האמיתיים עם זוויות קשות או תאורה לא שגרתית יניבו לעיתים קרובות מריחות מוזרות.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, השימוש בדפדפן פתוח לחלוטין וללא עלות. אין צורך להזין אמצעי תשלום ואין צורך לפתוח חשבון כדי לייצר סרטונים. המשאבים מוקצים על גבי החומרה השיתופית של הפלטפורמה.
כמה זמן לוקח לכל סרטון להיווצר?
העיבוד עצמו לוקח שניות ספורות בגלל השימוש במודל מזוכך שמסתפק במעט צעדי ריצה. הזמן הכולל תלוי בעיקר בשאלה אם המעבד הגרפי זמין באותו רגע. אם יש משתמשים נוספים שמריצים במקביל, ייתכן שתמתינו מעט בתור.
מה קורה לתמונות שאני מעלה לשם?
התמונות שלכם נשלחות לשרת שמריץ את הקוד כדי לייצר מהן את הווידאו. מאחר שלא פורסם רישיון מסודר ואין פירוט על שמירת המידע, עדיף לא להעלות חומרים רגישים או קבצים אישיים שאינכם רוצים שייחשפו ברשת.
במה הדף הזה שונה מהרצת המודל לבד?
כאן מדובר בממשק גרפי מהיר שחוסך את כל ההתקנה של כרטיסי מסך, ספריות פייתון והורדת משקולות כבדות למחשב. עם זאת, אתם מוגבלים לגבולות שנקבעו מראש בקוד, כמו רזולוציות מוגדרות וזמני ריצה שמיועדים לשיתוף ציבורי.
איך משתמשים
גוררים תמונה לחלון הקלט ולוחצים על Generate. ההרצה מתבצעת על מאיץ גרפי מסוג A10G שמוקצה לפי דרישה דרך spaces, מה שאומר שהעיבוד עצמו מהיר מאוד בזכות מספר הצעדים הנמוך של האלגוריתם. אם יש עומס של משתמשים באותו רגע, תצטרכו להמתין בתור קצר עד שהמעבד הגרפי יתפנה למשימה שלכם. אין צורך בהרשמה או בהתחברות כדי להתחיל לעבוד.
הרישיון
היוצר לא ציין רישיון שימוש בעמוד האפליקציה. כיוון שאין הגדרה ברורה, לא ידוע אם מותר להשתמש בתוצרים לצרכים מסחריים ומומלץ לנהוג בזהירות עם תמונות פרטיות שאתם מעלים לשם.