CogVideoX-5B-Space
רץ בדפדפןzai-orgרישיון לא דווח2024-08-23
מייצר סרטוני וידאו קצרים מטקסט, מתמונות או מקטעי וידאו קיימים בדפדפן. הכלי מתאים ליוצרים ומפתחים שרוצים לבדוק את יכולות יצירת הווידאו של מודלים פתוחים.
- —הורדות בחודש
- 1,046לייקים
מה זה
אתם מקלידים תיאור טקסטואלי של עד 200 מילים, ומקבלים קובץ וידאו או גיף. אפשר גם להעלות תמונה כדי להפיח בה תנועה, או להעלות סרטון קיים ולשנות אותו עם סליידר שקובע את עוצמת השינוי בין 0.1 ל־1.0. הממשק כולל דוגמאות מוכנות מראש כמו סוס, חתלתול ורכבת נוסעת בווידאו, לצד תמונות של חוף, רחוב ומחנה.
מאחורי הקלעים רץ המודל THUDM/CogVideoX-5b דרך ספריית diffusers. בנוסף למודל הווידאו עצמו, המערכת כוללת הרחבות אופציונליות: כפתור לשיפור הפרומפט שמשתמש ב־OpenAI, מודל RealESRGAN להגדלת רזולוציה מ־720x480 ל־2880x1920, ומודל RIFE שמכפיל את קצב הפריימים מ־8 ל־16 פריימים בשנייה.
מתאים ל
- הנפשת תמונות סטילס
מעלים תמונת נוף או אובייקט והופכים אותה לקליפ קצר בתנועה לפי הנחיית טקסט.
- עריכת סרטון קיים
מזינים קטע וידאו ומשנים את הסגנון או הפעולה באמצעות פרומפט ובקרת עוצמה.
- יצירת וידאו מטקסט
מקלידים תיאור סצנה של עד 200 מילים ומפיקים קובץ וידאו או גיף חדש לחלוטין.
איפה זה נופל
אי אפשר לשלב תמונה ווידאו ביחד באותה ריצה, והממשק חותך קלט באופן קשיח. תמונות נחתכות לגודל 720x480, וסרטונים נחתכים ל־49 פריימים שהם 6 שניות ב־8 פריימים בשנייה בלבד. תיאורי טקסט מוגבלים ל־200 מילים. בנוסף, כפתור שדרוג הפרומפט דורש הגדרת מפתח API של OpenAI בקוד, כך שהוא עלול לא לעבוד אם המפתח לא הוגדר בסביבה.
שאלות
נפוצות
האם השימוש בממשק הזה עולה כסף?
לא, הגישה לממשק בדפדפן פתוחה ללא תשלום. עם זאת, הוא רץ על חומרה שיתופית ולכן ייתכנו זמני המתנה בין הרצה להרצה.
כמה זמן לוקח לייצר סרטון?
הריצה מבוצעת על חומרת A10G שמופעלת לפי דרישה. יצירת סרטון בסיסי לוקחת זמן מורגש, והפעלת שיפור הרזולוציה או החלקת התנועה תאריך את התהליך עוד יותר.
האם אפשר להריץ את הדמו הזה על המחשב האישי?
כן, הקוד כולל קובץ gradio_web_demo.py ורשימת דרישות להתקנה מקומית. כדי להריץ אותו עצמאית תצטרכו כרטיס גרפי חזק ומפתחות תואמים למשתני הסביבה.
במה הממשק שונה משימוש במודל CogVideoX-5B לבד?
הממשק מחבר כמה מודלים יחד במקום אחד. הוא משלב את מודל הבסיס עם RealESRGAN להגדלת חדות, RIFE להכפלת קצב הפריימים, ומנגנון לשיפור תיאורי הטקסט.
איך משתמשים
בוחרים אם לעבוד עם טקסט בלבד, להעלות תמונה או להזין סרטון, כותבים תיאור ולוחצים על כפתור הייצור. הממשק רץ על חומרת zero-a10g שמקצה כרטיס גרפי רק בזמן הריצה בפועל, כך שתצטרכו להמתין בתור להקצאת המשאבים ולעיבוד עצמו. אם תפעילו גם שדרוג רזולוציה והכפלת פריימים, זמן ההמתנה יתארך משמעותית. בסיום אפשר להוריד את התוצאה כקובץ MP4 או כגיף.
הרישיון
הרישיון של המרחב הזה לא דווח. המשמעות היא שאין תנאי שימוש ברורים לגבי שימוש מסחרי בתוצרים, ואין התחייבות לגבי מה שקורה עם התמונות והסרטונים שאתם מעלים לממשק בזמן הריצה.