Show-1
רץ בדפדפןshowlabרישיון לא דווח2023-10-19
הדגמה שמייצרת סרטוני וידאו קצרים מתוך תיאור טקסט חופשי. מתאימה לחוקרים ולסקרנים שרוצים לראות מודל וידאו מבוסס פיקסלים בפעולה.
- —הורדות בחודש
- 39לייקים
מה זה
מקלידים תיאור באנגלית בתיבת הטקסט ומקבלים קובץ וידאו שנוצר ישירות מהבקשה. הממשק מציע למשל רעיון כמו פנדה שמצלמת סלפי, כך שאפשר להבין מיד את הכיוון הוויזואלי הכללי של המערכת.
מאחורי הקלעים הקוד מפעיל שרשרת מורכבת של חמישה שלבים נפרדים. הוא מתחיל ממודל הבסיס show-1-base ומשתמש ב־DeepFloyd IF יחד עם שלבי אינטרפולציה והגדלת רזולוציה ייעודיים. הצינור הזה משלב יצירת וידאו ברמת הפיקסל עם מודל וידאו לוידאו מבוסס Stable Diffusion כדי לחדד את התוצאה הסופית.
מתאים ל
- הפקת וידאו מטקסט
יצירת קליפים קצרים מתוך תיאור מילולי באנגלית לצורכי בדיקה ובחינת תנועה.
- בדיקת שרשראות פיקסלים
בחינת השילוב בין מודל DeepFloyd IF לשלבי אינטרפולציה ורזולוציה בקוד פתוח.
- השוואת מודלי וידאו
הערכת היכולות של משפחת מודלי show-1 מול פתרונות טקסט לווידאו אחרים.
איפה זה נופל
נכון לעכשיו אי אפשר להפיק סרטונים דרך הדפדפן כי ההדגמה תקועה בשגיאת ריצה. מעבר לזה, הממשק סגור לחלוטין לכיוונון פרמטרים, ולא ניתן להשפיע על שלבי הרינדור או להכניס הנחיות שליליות. עברית לא נתמכת כאן, וחייבים לעבוד באנגלית בלבד.
שאלות
נפוצות
האם השימוש בהדגמה כרוך בתשלום?
הגישה דרך הדפדפן פתוחה בחינם ולא דורשת מנוי או תשלום. עם זאת, נכון לעכשיו היא נמצאת במצב של שגיאת ריצה ולכן לא מייצרת סרטונים.
האם אפשר להריץ את המודלים על מחשב אישי?
הקוד משתמש במודלים גלויים שניתן להוריד מ־Hugging Face, ביניהם משפחת show-1 ו־DeepFloyd IF. הרצה מקומית דורשת כרטיס מסך חזק מאוד עם כמות זיכרון גדולה, בדומה לכרטיס A10G שמוגדר בפרויקט.
במה שונה הממשק מהרצה ישירה בקוד?
הממשק חוסם שליטה על צעדי הרינדור ועל הנחיות שליליות, ומפעיל צינור קבוע מראש. בקוד ישיר אפשר לשנות כל פרמטר בצינור העבודה ולהריץ רק שלבים מסוימים.
איך משתמשים
בפועל כותבים פרומפט ולוחצים על כפתור השליחה. שדות כמו פרומפט שלילי ומספר צעדים מנוטרלים בקוד המקורי, כך שאין שליטה ידנית בהגדרות היצירה. השרת מוגדר על חומרת a10g-large, שרצה בדרך כלל בקצב סביר לחישובי גרפיקה, אך כרגע הדף מציג שגיאת ריצה כללית ולא מעבד בקשות.
הרישיון
הרישיון של הפרויקט לא דווח כלל במאגר. בלי הגדרה ברורה של תנאי השימוש, לא כדאי להסתמך על התוצרים או על הקוד לצרכים מסחריים.