image-to-video-cog
רץ בדפדפןguardianccרישיון לא דווח2024-09-27
הכלי מייצר סרטון קצר מתוך תמונה קיימת והנחיית טקסט. הוא מתאים למי שרוצה לבדוק הנפשה מבוססת בינה מלאכותית ישירות בדפדפן בלי לכתוב קוד.
- —הורדות בחודש
- 166לייקים
מה זה
מעלים תמונה לתוך הממשק ומוסיפים תיאור טקסט שמסביר מה אמור לקרות בה. כברירת מחדל מוצגת הנחיה שמבקשת להנפיש ילדה שרוכבת על אופניים במהירות גבוהה, אבל אפשר למחוק אותה ולכתוב תיאור משלכם באנגלית. הפלט שמתקבל בצד השני הוא קובץ וידאו שנוצר ישירות מהשילוב בין השניים.
מאחורי הקלעים הקוד טוען את המודל zai-org/CogVideoX-5b-I2V דרך ספריית diffusers של פייתון. מדובר במודל שמנתח את התמונה שהעליתם, בונה ממנה רצף תנועה לפי הטקסט, ומייצא את התוצאה הסופית כווידאו לצפייה ולהורדה.
מתאים ל
- הנפשת תמונות סטילס
מעלים תמונת פורטרט או נוף ובודקים איך המודל מזיז אותה על בסיס תיאור טקסטואלי.
- בדיקת CogVideoX
התנסות ביכולות יצירת הווידאו של המודל בלי להתקין ספריות כבדות על המחשב.
- יצירת קטעי וידאו לרשת
הפקת סרטונים קצרים מתמונות מוכנות כדי לבדוק רעיונות ויזואליים.
איפה זה נופל
הבעיה המרכזית כרגע היא שהאפליקציה מסומנת במצב של שגיאת ריצה, כך שאי אפשר להריץ בה כלום בפועל. מעבר לזה, הממשק בסיסי מאוד ולא מציע שליטה על פרמטרים כמו מספר פריימים, יחס תמונה או רמת דיוק. אי אפשר לדעת מראש אם התנועה תישאר עקבית בלי לנסות, ובלי חומרה יציבה ברקע פשוט מקבלים הודעת שגיאה.
שאלות
נפוצות
האם האפליקציה עובדת כרגע?
לא. המערכת מדווחת על שגיאת ריצה בקוד app.py, כך שהיא מושבתת עד שהמפתח יעדכן אותה.
האם צריך לשלם על השימוש?
העמוד פתוח לגישה חופשית בדפדפן ואין דרישת תשלום. עם זאת, הוא רץ על הקצאת חומרה שיתופית שתלויה בזמינות השרתים.
האם הממשק תומך בעברית?
טקסט ההנחיה המוגדר מראש כתוב באנגלית, וזה גם מה שמודל הווידאו מבין בצורה הטובה ביותר. כתיבה בעברית צפויה להניב תוצאות פחות מדויקות או להתעלם מהטקסט לחלוטין.
אפשר להריץ את זה על המחשב האישי?
הקוד משתמש במודל CogVideoX-5b-I2V שזמין להורדה חופשית. כדי להריץ אותו מקומית תצטרכו כרטיס מסך חזק עם זיכרון ייעודי גדול, בדומה למעבד A10G שעליו הוא נשען ברשת.
איך משתמשים
לוחצים על כפתור ההפעלה אחרי שמעלים קובץ תמונה וכותבים את ההנחיה. האפליקציה אמורה להשתמש בחומרת zero-a10g שמקצה מעבד גרפי לפי דרישה, אבל כרגע העמוד מדווח על שגיאת ריצה כללית והממשק לא מגיב. במצב תקין יצירת וידאו במודל כזה לוקחת בדרך כלל זמן מה, וכאן צריך קודם כל שהמפתח יתקן את הקוד שקרס.
הרישיון
היוצר לא הגדיר רישיון בקוד או בעמוד הפרויקט. כברירת מחדל אי אפשר לדעת אם מותר להשתמש בסרטונים שנוצרים לצרכים מסחריים, וגם תנאי השימוש על התמונות שאתם מעלים לחומרה של השרת אינם מפורטים.