X-Portrait
רץ בדפדפןfffiloniרישיון לא דווח2024-11-07
מעלים תמונת פנים אחת ווידאו קצר, ומקבלים הנפשה של הפנים לפי התנועות בווידאו. הכלי מיועד למי שרוצה לבדוק אנימציית פנים מבוססת מודל דיפוזיה בלי להגדיר סביבת עבודה מקומית.
- —הורדות בחודש
- 220לייקים
מה זה
אתם מעלים תמונת מקור של פנים וסרטון שממנו נלקחות תנועות ההבעה. המערכת מחלצת את התנועה מווידאו המקור ומפעילה אותה על התמונה באמצעות ארכיטקטורת X-Portrait, שמשלבת מודל תנועה היררכי יחד עם מודלים נוספים כמו CLIP וגרסאות שונות של T5 לפי קובץ ההגדרות. הממשק כולל גלריה לצפייה בפריימים של הווידאו המניע, ובחירת הפריים המוביל נעשית מתוכו.
בסיום התהליך מתקבל קובץ וידאו חדש של הדיוקן המונפש. יש שליטה ידנית במספר פרמטרים טכניים, ביניהם סקייל של הנחיה לא מותנית, כמות הצעדים באלגוריתם הדגימה, מספר הערבובים וסיד לשחזור תוצאות. קיימות בממשק דוגמאות מובנות שמציגות שילובים של תמונות מקור וסרטוני הדרכה שונים.
מתאים ל
- בדיקת הבעות פנים לתמונה
הנפשת תמונת דיוקן יחידה לפי תנועות ראש והבעות שצולמו בווידאו קצר.
- השוואת פרמטרי דגימה
בחינת השפעת מספר צעדי הדגימה וערכי ההנחיה על איכות הווידאו שנוצר.
- התנסות במודל X-Portrait
בדיקת היכולות של המודל ישירות מהדפדפן לפני החלטה על התקנה מקומית.
איפה זה נופל
אם אתם מחפשים אנימציה בזמן אמת, זה לא יקרה כאן. מודלי דיפוזיה מהסוג הזה דורשים שניות ארוכות של חישוב לכל פריים בודד. בנוסף, בגלל ההורדה של פרמטרי הריצה בהדגמה השיתופית כדי לשמור על יציבות, איכות הווידאו וההתאמה לתנועות המקוריות עלולות להיות נמוכות באופן מורגש ממה שהמודל המלא יודע לייצר כשהוא רץ על חומרה ייעודית.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
הגישה לעמוד פתוחה בדפדפן ואינה דורשת תשלום. המשאבים מוקצים דרך חומרה משותפת מסוג A10G, ולכן יש מגבלות על משך זמן הריצה הרציף.
כמה זמן לוקח לייצר סרטון?
משך הזמן תלוי במספר הפריימים שנבחרו ובכמות צעדי הדגימה שהוגדרו. בממשק הציבורי הפרמטרים מונמכים כדי לקצר את ההמתנה, אך עדיין מדובר בכמה דקות של עיבוד לכל קטע קצר.
האם אפשר להריץ את זה באופן מקומי?
הקוד נשען על קבצי הגדרות וסקריפטים פנימיים שנטענים מתוך המאגר, יחד עם מודלים תומכים של CLIP ו־T5. מי שיש לו מחשב עם כרטיס גרפי מתאים יכול להוריד את הקבצים ולהריץ את הסקריפט המקורי ללא מגבלות השרת השיתופי.
מה קורה לסרטונים ולתמונות שמעלים לממשק?
הקבצים נשלחים לשרת שבו רץ הממשק ומעובדים בתיקיות זמניות בזמן יצירת הווידאו. מאחר שלא פורסמו תנאי שימוש או רישיון מסודר, מומלץ לא להעלות חומרים רגישים או תמונות פרטיות.
איך משתמשים
טוענים תמונה וסרטון, בוחרים פריים מפתח מתוך הווידאו, מגדירים את מספר הפריימים לפלט ולוחצים על כפתור השליחה. העיבוד רץ על גבי חומרת Zero-A10G דרך מנגנון שיתוף משאבים, כך שההמתנה תלויה בעומס התורים הפעיל באותו רגע. בגרסה הציבורית הזו ברירות המחדל של צעדי הדגימה וכמות הערבובים מוגבלות מראש לערכים נמוכים יותר כדי לקצר זמנים ולא לחנוק את השרת.
הרישיון
הרישיון לא דווח בעמוד של האפליקציה. במצב כזה אין אישור מפורש לשימוש מסחרי בתוצאות, והמעמד המשפטי של התמונות והסרטונים שמעלים או מפיקים נשאר פתוח ולא מוגדר.