peterpeter8585/image-to-video-cog

מה זה

אתם מעלים קובץ תמונה, מקלידים תיאור של התנועה שתרצו לראות ומקבלים קובץ וידאו מרונדר. הממשק מכיל ברירת מחדל של תיאור באנגלית על ילדה שרוכבת מהר על אופניים, כדי להדגים איך נראית הנחיה נכונה למודל.

מאחורי הקלעים רץ המודל CogVideoX-5b-I2V מבית zai-org דרך ספריית diffusers של פייתון. המודל הזה מתמחה בהפיכת תמונות בודדות לרצף תנועה לפי הנחיות טקסט, אבל במקרה הזה הקוד פשוט מאוד ולא כולל הגדרות מתקדמות כמו שינוי מספר פריימים או שליטה בתנועת מצלמה.

מתאים ל

• בדיקת המודל בדפדפן

  התנסות ראשונית בהנפשת תמונה בעזרת CogVideoX בלי להתקין ספריות פייתון במחשב.

• הנפשת תמונות סטילס

  הפיכת תמונה קיימת לווידאו קצר על ידי כתיבת תיאור של התנועה הרצויה.

• בחינת פרומפטים לווידאו

  בדיקה איך תיאורים באנגלית משפיעים על האופן שבו המודל מזיז עצמים בתמונה.

איפה זה נופל

הבעיה המרכזית כרגע היא שהכלי פשוט לא עובד ומחזיר שגיאת מערכת עוד בעלייה. חוץ מזה, אין פה שום אפשרות לכוונן פרמטרים של המודל כמו משך הסרטון, רזולוציה או דיוק התנועה. כל מה שיש זה שדה טקסט ותמונה, בלי שום אינדיקציה לזמן הרינדור הצפוי.

איך משתמשים

בפועל נכנסים לדף, מעלים תמונה לתיבת הקלט, מוודאים שהטקסט בתיאור מתאים למה שרוצים להנפיש ולוחצים על Generate Video. כרגע לא תגיעו רחוק כי המופע נמצא במצב של שגיאת ריצה (RUNTIME_ERROR).

בנוסף, החומרה שמוגדרת עבורו היא cpu-basic בלבד. מודל כבד כמו CogVideoX עם חמישה מיליארד פרמטרים דורש כרטיס מסך חזק מאוד, וגם אם השגיאה תתוקן, ניסיון להריץ אותו על מעבד רגיל יהיה איטי להחריד או ייכשל מיד מחוסר זיכרון.

הרישיון

היוצר לא הגדיר רישיון בקוד או בעמוד הפרויקט. כשאין רישיון מוצהר, המצב המשפטי לגבי שימוש בקוד או שימוש מסחרי בתוצרים שנוצרים דרכו אינו ברור, ולא כדאי להסתמך עליו לפרויקטים מסחריים.

הרישיון המלא ב־Hugging Face ↗