Open-Sora-Plan-v1-0-0
רץ בדפדפןfffiloniרישיון לא דווח2024-04-07
הדגמת רשת שמייצרת סרטוני וידאו קצרים או תמונות בודדות מתוך תיאור טקסטואלי. מיועד למי שרוצה לבדוק את היכולות המוקדמות של המודל הפתוח בלי להתקין סביבת פיתוח כבדה במחשב.
- —הורדות בחודש
- 64לייקים
מה זה
מקלידים תיאור טקסט באנגלית ומקבלים קובץ וידאו קצר שנוצר ישירות מהטקסט, או תמונה בודדת של פריים אחד אם מסמנים את התיבה המתאימה. הממשק כולל דוגמאות מוכנות מראש לניסוי מהיר, ומאפשר לשלוט על מספר סליידרים להגדרות הריצה, כולל קביעת סיד ידני או בחירה בסיד אקראי לחלוטין בכל ניסיון.
מאחורי הקלעים הקוד מריץ שרשרת מודלים מורכבת שכוללת את מודל LatteT2V מבוסס הטרנספורמר, מקודד טקסט T5 של DeepFloyd, רכיבי VAE לטיפול בפריימים של וידאו, ותמיכה במודלים של PixArt ו־CLIP. כל הכלים האלה עובדים יחד תחת צינור יצירת הווידאו של Open-Sora-Plan כדי לתרגם את המילים לרצף תמונות עקבי בזמן.
מתאים ל
- בדיקת המודל
ניסוי מהיר של גרסה 1.0.0 כדי לראות איך מודל הקוד הפתוח מתמודד עם תיאורי תנועה מורכבים.
- יצירת תמונות מבוססות וידאו
הפקת פריים בודד מתוך מודל הווידאו באמצעות סימון האפשרות הייעודית בממשק.
- השוואת פרומפטים
בדיקת השפעת שינויי ניסוח על רצף תנועה בעזרת שימוש בסיד קבוע לשחזור תוצאות.
איפה זה נופל
הבעיה המרכזית היא שהדמו כרגע מושהה לחלוטין ולא מייצר פלטים בזמן אמת. מעבר לכך, מדובר בגרסה ראשונית של המודל שמייצרת קטעים קצרים מאוד באיכות בסיסית, ולפי מבנה הקוד אין שמירה מראש של תוצאות הדוגמאות, כך שכל בדיקה דורשת חישוב מלא וממושך.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה להדגמה באתר היא בחינם ואינה דורשת תשלום מראש. יחד עם זאת, כרגע הדף נמצא במצב מושהה ולכן לא ניתן להריץ אותו בלי לשכפל את החלל או להפעיל אותו מחדש עם משאבים מתאימים.
מה קורה עם הטקסט והתוצרים שנוצרים?
הטקסט והווידאו מעובדים ישירות בסביבת השרת שמריצה את הממשק הציבורי. היות שמדובר במרחב ציבורי ברשת, לא כדאי להזין פרומפטים שמכילים מידע פרטי, רגיש או סודי.
כמה זמן לוקח לייצר וידאו?
יצירת וידאו ממודל כזה על מאיץ גרפי בודד לוקחת בדרך כלל בין חצי דקה למספר דקות. הזמן משתנה בהתאם לאורך הקטע שנבחר, עומס החישוב, והגדרות הסליידרים בממשק.
האם אפשר להריץ את זה מקומית על המחשב?
אפשר להוריד את הקוד מקובץ app.py ואת המשקולות של המודלים ולהריץ מקומית. עם זאת, התהליך דורש מחשב חזק עם כרטיס מסך מתאים וזיכרון וידאו גדול, בגלל השימוש במודל טקסט ענק ובטרנספורמר וידאו.
איך משתמשים
בפועל בוחרים דוגמה או כותבים פרומפט, מכוונים את הסליידרים ולוחצים על כפתור ההפעלה. המערכת הוגדרה לרוץ על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה, אבל כרגע הדף במצב מושהה ולא ניתן להריץ בו פקודות ישירות בדפדפן בלי להפעיל אותו מחדש.
הרישיון
הרישיון לא דווח בעמוד של האפליקציה. כשאין רישיון מוגדר במפורש, לא ברור אם מותר להשתמש בתוצרים לצרכים מסחריים, ומומלץ לבדוק את תנאי השימוש של משקולות המודל המקוריות לפני כל שימוש שאינו בדיקה אישית.