fffiloni/DimensionX

מה זה

אתם מעלים תמונת סטילס, כותבים תיאור טקסט קצר ובוחרים את כיוון תנועת המצלמה. המערכת מחזירה סרטון וידאו שמציג את הסצנה מזווית משתנה.

מתחת למכסה המנוע הקוד משלב בין המודל של DimensionX לבין המודל CogVideoX-5b-I2V ליצירת וידאו מתמונה. התהליך טוען רכיבי עיבוד שונים, בהם שנאי תלת ממדי ומקודד טקסט מבוסס T5, שפועלים יחד כדי להמיר את התמונה הבודדת לרצף פריימים עקבי עם עומק.

הממשק מציג דוגמאות מוכנות של אסטרונאוט, שבהן רואים סיבוב שמאלה או תנועה כלפי מעלה. הדוגמאות האלה מראות איך המצלמה זזה סביב האובייקט המרכזי תוך שמירה על המבנה שלו במרחב.

מתאים ל

• הנפשת תמונות סטילס

  יצירת קליפ קצר שמוסיף תנועת מצלמה סביב אובייקט בודד מתוך תמונה קיימת.

• בדיקת זוויות בעיצוב

  המחשה מהירה של מראה מודל או דמות מכיוון שונה בלי למדל מחדש.

• בחינת יכולות CogVideoX

  הערכה מעשית של שילוב המודל עם תנועות מצלמה מונחות לפני פיתוח עצמאי.

איפה זה נופל

אפשרויות השליטה במצלמה מוגבלות מאוד בממשק הזה, רק תנועה שמאלה או למעלה. אי אפשר לקבוע מהירות, מרחק או מסלול חופשי. ריצה של מודל וידאו כבד על מעבד עלולה להיכשל או להיתקע דקות ארוכות, והדוגמאות המוכנות מראש של האסטרונאוט לא משקפות בהכרח את זמן ההמתנה או את האיכות שתקבלו מתמונה אקראית עם תאורה מורכבת.

איך משתמשים

בפועל אתם גוררים קובץ תמונה, מקלידים הנחיה בתיבת הטקסט, בוחרים ברדיו בין Left לבין Up ולוחצים על Submit. לפי הקוד, המודל נטען על המעבד ולא על כרטיס גרפי ייעודי, ובחומרה שמוגדרת כשדרוג מעבד זה אומר שהעיבוד איטי מאוד. בנוסף המרחב נמצא במצב שינה, כך שלפני הריצה הראשונה תצטרכו להמתין לעלייה שלו, ואם הממשק משותף כפתור השליחה עלול להיות חסום.

הרישיון

הרישיון לא דווח בקוד או בהגדרות המרחב. המשמעות היא שאין אישור מפורש לשימוש מסחרי בתוצאות, ומבחינה משפטית הזכויות על הקוד והשימוש בו נשארות לא ברורות.

הרישיון המלא ב־Hugging Face ↗