Cinemo

מה זה

מעלים תמונה, כותבים הנחיה של מה שאמור לקרות בה, ומקבלים קובץ וידאו שמונפש סביב התמונה המקורית. הממשק כולל אפשרות להוסיף הנחיה שלילית, ובאפשרויות המתקדמות יש שליטה בעוצמת התנועה, מספר צעדי הדגימה ופרמטרים ייחודיים לסינון רעשים בתדרים. הדוגמאות המוצגות מראות הליכה של אנשים, גלי ים, דמות רוקדת ועיני דרקון זוהרות.

מאחורי הקלעים רץ שילוב של מודל Cinemo עם משקלי Stable Diffusion בגרסאות שונות ורכיב טקסט של CLIP. המודל מתמקד בלימוד שאריות התנועה בין פריימים במקום ליצור כל פריים מאפס, ומשתמש בטרנספורמציית קוסינוס בדידה לייצוב התנועה לאורך זמן.

מתאים ל

• הנפשת תמונות סטילס

  יצירת תנועה עדינה בתמונות נוף, גלי ים או דמויות הולכות על פי הנחיית טקסט קצרה.

• בדיקת איכות של מודל מחקר

  בחינת יכולות המודל והשפעת פרמטרי DCT על יציבות תנועה לעומת מחוללי וידאו אחרים.

• הכנת רקעים מונפשים קצרים

  הפקת לולאות וידאו פשוטות ברזולוציה נמוכה לשימוש מהיר ברשתות או במצגות.

איפה זה נופל

רזולוציית הפלט מוגבלת ומקובעת בממשק לרוחב 512 על גובה 320 פיקסלים, בלי אפשרות לשנות את הממדים ישירות במסך. למרות שהקוד המקורי מאפשר עריכת וידאו והעברת תנועה, ממשק הווב הנוכחי מציג אך ורק אנימציה של תמונה בודדת. זהו כלי הדגמה מחקרי, ולא מערכת להפקת תוצרי וידאו מסחריים ארוכים.

איך משתמשים

גוררים תמונה או מדביקים קישור, כותבים תיאור של התנועה ולוחצים Generate. הריצה מתבצעת על מעבד גרפי A10G דרך תשתית ZeroGPU של Hugging Face, כך שאם השרת במצב שינה תצטרכו להמתין להקצאת החומרה לפני תחילת העיבוד. ברירת המחדל מוגדרת על 50 צעדי דגימה, ולכן יצירת הווידאו דורשת בדרך כלל המתנה של כמה עשרות שניות.

הרישיון

הרישיון של המרחב מסומן כלא דווח, והקוד מפנה לקובץ נפרד. במצב כזה אין הרשאה ברורה לשימוש מסחרי, וכל תמונה שמועלית מעובדת בשרתי הענן הציבוריים.

הרישיון המלא ב־Hugging Face ↗