חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
L

innoai/LivePortrait

רץ בדפדפן

innoaiרישיון לא דווח2024-07-09

  • gradio
  • Multimodal
  • Motion control
  • Image-to-Video
  • Video-to-Video

הכלי מנפיש תמונת פורטרט נייחת לפי תנועות פנים מסרטון וידאו מקדים. הוא מתאים ליוצרי תוכן ולאנימטורים שמחפשים הדמיית הבעות פנים מהירה ישירות מהדפדפן.

  • —הורדות בחודש
  • 55לייקים

מה זה

מעלים תמונת פנים אחת כקובץ מקור וסרטון וידאו מניע שממנו נלקחות תנועות הראש וההבעות. יש בממשק גם דוגמאות מוכנות של תמונות מקור וסרטוני הדרכה שאפשר לבחור כדי לראות איך זה עובד בלי להעלות קבצים משלכם. הקוד מבוסס על מאגר LivePortrait, ומפעיל תהליך עיבוד שמזהה נקודות פנים ומעביר את התנועה בדיוק יחסי.

בסיום מקבלים שני תוצרי וידאו נפרדים, אחד חתוך לפנים בלבד והשני מדביק את האנימציה בחזרה לתוך הרקע המקורי של התמונה. בהגדרות המתקדמות אפשר לקבוע אם לבצע חיתוך, האם לשמור על תנועה יחסית והאם להחזיר את הפנים המונפשות לתמונה המקורית.

מתאים ל

  • הנפשת תמונות סטילס

    הפיכת צילום פנים בודד לסרטון נע בעזרת הבעות פנים מסרטון הדגמה קיים.

  • הדבקת פנים ברקע מקורי

    יצירת אנימציה תוך שמירה על גבולות התמונה המקורית באמצעות מנגנון ההדבקה החוזרת.

  • בדיקת תנועות ראש מהירה

    בחינת התאמת תנועות וידאו לפורטרטים שונים דרך דוגמאות מוכנות מראש בלי לטעון קבצים.

איפה זה נופל

המגבלה הכי קשיחה כאן היא יחס התצוגה של הווידאו, הקוד זורק שגיאה מפורשת אם הסרטון אינו מרובע בדיוק של אחד על אחד. בנוסף, חלקי ממשק שקשורים לשליטה ידנית במפתח העיניים והשפתיים מוגדרים כמוסתרים בקוד ולא זמינים לשימוש פעיל במסך הזה.

שאלות
נפוצות

האם השימוש בכלי עולה כסף?

לא, הממשק פתוח לשימוש חופשי בדפדפן. לא נדרש תשלום ולא צריך להזין פרטי אשראי כדי להריץ עיבודים.

למה מופיעה שגיאה כשאני מעלה וידאו רגיל מהטלפון?

הקוד דורש סרטון בעל יחס תצוגה מרובע בלבד. אם הווידאו צולם לאורך או לרוחב, המערכת תציג שגיאה ותסרב לעבד אותו עד שתחתכו אותו לריבוע.

מה קורה עם התמונות והסרטונים שאני מעלה?

הקבצים נשלחים לעיבוד על גבי תשתית הענן של השרת שמריץ את הממשק. היות שלא דווח רישיון או מדיניות פרטיות פרטנית, לא כדאי להעלות חומרים רגישים או אישיים.

האם אפשר לשלוט בפתיחת הפה והעיניים ידנית?

לא בממשק הזה. למרות שקיימים רכיבי שליטה על יחס פתיחת שפתיים ועיניים בקוד של app.py, הם הוגדרו כמוסתרים ולא מופיעים למשתמש בדף.

איך משתמשים

גוררים תמונה לווידאו, בוחרים אם לסמן תיבות של חיתוך או הדבקה חוזרת, ולוחצים על כפתור האנימציה. היישום רץ על מעבד גרפי A10G דרך מנגנון ZeroGPU, מה שמקצה משאבים בעת ההרצה אבל עלול להכניס אתכם לתור קצר כשיש עומס משתמשים. אין צורך בהרשמה או התחברות כדי להתחיל.

הרישיון

הרישיון של המרחב לא דווח בדף המקור. המשמעות היא שאין הרשאה ברורה ומתועדת לגבי שימוש מסחרי בתוצרים, וכל קובץ שמעלים מעובד על שרתי הענן הציבוריים של הפלטפורמה.

הרישיון המלא ב־Hugging Face ↗