Puppet-Master

מה זה

אתם מעלים תמונה סטטית, מסמנים נקודות אחיזה וגוררים אותן לאן שתרצו שהחלקים בתמונה יזוזו. המערכת מחזירה אנימציה שנשמרת כקובץ GIF, כשכל התנועה מונחית על ידי הווקטורים שקבעתם בעזרת העכבר.

מאחורי הקלעים רץ שילוב של מודל הווידאו Stable Video Diffusion עם מודל הסגמנטציה Segment Anything של מטא. הקוד מזהה את החלקים בתמונה שצריכים לזוז, בונה מסכות רלוונטיות, ומשתמש במודל הווידאו כדי לייצר רצף פריימים עקבי לפי כיווני המשיכה.

הממשק מכיל עמודת דוגמאות מובנות מראש כדי שאפשר יהיה לבדוק איך התנועות עובדות על אובייקטים שונים לפני שמעלים תמונה פרטית מהמחשב.

מתאים ל

• הנפשת תמונות סטילס

  יצירת קובצי גיף קצרים מתמונות רגילות על ידי גרירת איברים או חפצים.

• שליטה בתנועת אובייקט

  הכוונת המסלול של חלק מסוים בתמונה במקום להסתמך על פרומפט טקסטואלי.

• בדיקת אינטראקציה ויזואלית

  ניסוי של יכולות שילוב בין סגמנטציה למודל וידאו לצורכי מחקר.

איפה זה נופל

הבעיה המרכזית היא שהחלל נמצא במצב של שגיאת בנייה ולא עולה כלל. חוץ מזה, המודל מחייב שלב עיבוד מקדים קפדני של חלוקה למסכות וסגמנטציה, ואם מדלגים עליו מקבלים אזהרה והתהליך נעצר. המודל מייצר אנימציות קצרות מאוד בלבד, ולא מתאים ליצירת סרטונים מורכבים עם עלילה או זוויות צילום משתנות.

איך משתמשים

טוענים תמונה או בוחרים דוגמה, מקליקים ומגדירים נקודות גרירה, ואז לוחצים על כפתור העיבוד המקדים. אחרי שהשלב הזה מסתיים, אפשר לכוונן ערכי סיד וסקייל במידת הצורך וללחוץ על הפקת הווידאו. הריצה מוגדרת על מעבד גרפי A10G של זירו גראדיו, אבל בפועל העמוד מוגדר במצב של שגיאת בנייה ולכן אי אפשר להריץ אותו ישירות בדפדפן כרגע.

הרישיון

הקוד והכלי מופצים תחת רישיון cc-by-nc-sa-4.0. זה אומר שמותר להשתמש בהם ולשתף אותם רק למטרות לא מסחריות, תוך מתן קרדיט והפצת תוצרי המשך תחת אותו הרישיון בדיוק.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗