CogVideoX-Fun-5b
רץ בדפדפןalibaba-paiother2024-09-18
הדגמת רשת שמייצרת סרטוני וידאו קצרים מטקסט באמצעות מודלים מסדרת CogVideoX. מתאימה למי שרוצה לבדוק יכולות ג'נרוט וידאו ישירות בדפדפן בלי להגדיר שרת משלו.
- —הורדות בחודש
- 131לייקים
מה זה
אתם כותבים תיאור טקסטואלי חופשי בממשק ומקבלים קובץ וידאו קצר שנוצר על בסיס ההנחיה. הממשק מבוסס גרדיו ונטען דרך מודולים שמחברים בין ממשקי משתמש שונים של ModelScope ו־EAS לבין מנוע ההסקה של CogVideoX.
מאחורי הקלעים הקוד מתממשק למודל CogVideoX-5b, לצד תמיכה בגרסת ה־2b ומודלים משלימים כמו PixArt-alpha, AnimateDiff ו־sdxl-vae-fp16-fix. השילוב הזה מטפל בעיבוד הטקסט, דגימת הפריימים ותיקון הווידאו הסופי, כך שכל התהליך של מעבר מהנחיה כתובה לתנועה רציפה מרוכז במקום אחד.
מתאים ל
- בדיקת איכות של CogVideoX-5b
ניסוי מהיר של פרומפטים כדי לראות איך המודל מפרש תנועה מורכבת לפני שמורידים אותו לעבודה מקומית.
- השוואת תוצאות בין גרסאות
בחינת ההבדלים בהבנת הטקסט בין מודל ה־5b לגרסת ה־2b הקלה יותר.
- התנסות ביצירת וידאו מטקסט
ג'נרוט סרטונים קצרים ללא צורך בהתקנת סביבת פיתוח, כרטיס מסך חזק או הגדרת ספריות פייתון.
איפה זה נופל
חומרת המעבד הבסיסית הופכת את ההדגמה למאוד לא מעשית לבדיקות כבדות או לרינדור מהיר של וידאו באורך מלא. בנוסף, הממשק עצמו לא מציג דוגמאות מובנות מראש, ולכן קשה להבין את איכות התוצאה הצפויה לפני שממתינים לריצה מלאה.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה להדגמה בדפדפן פתוחה וחינמית לחלוטין. אין צורך להזין אמצעי תשלום כדי להריץ פרומפט.
כמה זמן לוקח לכל סרטון להיווצר?
העיבוד מתבצע על מעבד רגיל בלבד ללא GPU צמוד, ולכן התהליך איטי מאוד. אם ישנם משתמשים נוספים שמריצים במקביל, זמן ההמתנה מתארך בהתאם.
האם אפשר להריץ את המודלים האלה מקומית במחשב שלי?
כן, משקלי המודלים והקוד פתוחים להורדה. כדי להריץ את גרסת ה־5b באופן סביר תצטרכו מחשב חזק עם כרטיס מסך ייעודי וזיכרון וידאו משמעותי.
מה ההבדל בין האפליקציה הזו למודל CogVideoX המקורי?
האפליקציה עוטפת את המודל בממשק גרפי של גרדיו דרך תשתיות של alibaba-pai. היא נועדה להדגמה ישירה בדפדפן בלי שתצטרכו לכתוב קוד הסקה בעצמכם.
איך משתמשים
נכנסים לעמוד בחינם בלי צורך בהרשמה מיוחדת, מזינים פרומפט בתיבה ומפעילים את הריצה. האפליקציה יושבת על חומרת cpu-basic בסיסית, מה שאומר שהרצת מודל של חמישה מיליארד פרמטרים בלי מאיץ גרפי ייעודי תהיה איטית מאוד, ואם כמה משתמשים שולחים בקשות במקביל תצטרכו להמתין בתור עד לסיום העיבוד.
הרישיון
הפרויקט עצמו מוגדר תחת רישיון Apache 2.0, וכך גם גרסת ה־2B, אך מודל ה־5B כפוף לרישיון CogVideoX ייעודי. לא מפורט מה קורה עם קובצי הווידאו שנוצרים בהדגמה.