ActionMesh

מה זה

הכלי מיועד להמרת וידאו לתוכן ארבעה ממדים, שזה בעצם רשת תלת ממדית שמשתנה לאורך זמן. אתם מעלים קובץ וידאו ישירות לממשק, או בוחרים להעלות רצף תמונות בנפרד. אפשר גם לבחור מתוך גלריית דוגמאות מוכנות מראש שמגיעות עם הממשק כדי לראות את היכולות מיד.

מאחורי הקלעים רץ המודל ActionMesh של חוקרי פייסבוק, שמבוסס על מאמר מחקרי בתחום דיפוזיה תלת ממדית בזמן. המערכת מחלצת פריימים, מנתחת את התנועה ומייצרת דפורמציה לרשת התלת ממדית. התוצאה מוצגת בנגן תלת ממד מובנה בדפדפן, ואפשר לצפות ברשת המונפשת לצד הווידאו המקורי ולהוריד קובץ GLB סופי.

מתאים ל

• המרת וידאו למודל מונפש

  מעלים קטע וידאו קצר של תנועה ומפיקים קובץ GLB מונפש לצפייה בדפדפן או להורדה.

• בדיקת מחקר מבוסס דיפוזיה

  בוחנים את היכולת של המודל לייצר גאומטריה תלת ממדית זמנית מתוך צילום בודד.

• יצירת נכסים לתלת ממד

  מייצאים אנימציות רשת בסיסיות לשימוש בתוכנות גרפיקה או מנועי משחקים שתומכים ב־GLB.

איפה זה נופל

ההדגמה מיועדת לקטעים קצרים וספציפיים, כפי שרואים בדוגמאות המובנות. שחזור תנועות מורכבות, זוויות צילום בעייתיות או וידאו באיכות ירודה מייצרים עיוותים בגאומטריה ובייצוא ה־GLB. בנוסף, חומרת ההדגמה מוגבלת במשאבים, כך שסרטונים ארוכים עלולים לקרוס או להיעצר על מגבלת זמן.

איך משתמשים

בוחרים סרטון מהמחשב או מקליקים על אחת הדוגמאות המוכנות, ולוחצים על Generate. בהגדרות המתקדמות אפשר לבחור איכות, לקבוע את פריים הייחוס ולשנות את ה־seed אם רוצים תוצאה שונה.

העיבוד רץ על חומרת zero-a10g בענן דרך מנגנון Spaces. זה אומר שהכרטיס הגרפי מוקצה לפי דרישה, כך שייתכן זמן המתנה ראשוני להקצאת החומרה לפני שהסרטון מתחיל להתעבד.

הרישיון

הרישיון של המרחב מוגדר כ־other, כלומר רישיון מותאם אישית שאינו קוד פתוח סטנדרטי. המודל מבוסס על מחקר של פייסבוק, ולכן אין להסתמך עליו לשימוש מסחרי חופשי בלי לבדוק את תנאי הרישיון המצורפים לקוד המקורי. התוכן שאתם מעלים עובר עיבוד בשרתי Hugging Face.

הרישיון המלא ב־Hugging Face ↗