AI-WebTV

מה זה

אתם לא מעלים לכאן קבצים ולא כותבים הנחיות טקסט. הדף הזה משמש רק כרכיב תצוגה קדמי, שמנגן שידור חי שהוכן מראש בשרת מדיה נפרד באמצעות נגן mpegts.js.

מאחורי הקלעים מישהו כתב תיאור כללי לסצנה, העביר אותו ל־GPT-4 כדי לחלץ תיאורים מפורטים לכל שוט, והכניס אותם למסד נתונים. משם שרת המדיה מייצר סרטונים אילמים באורך 3 שניות עם zeroscope_v2_576w, משדרג את הרזולוציה עם zeroscope_v2_XL, ומחליק את התנועה עם FILM. ברשימת המודלים מופיע גם facebook/musicgen-melody ליצירת אודיו, וכל התוצרים נארזים לרשימת השמעה שמשודרת בפרוטוקול RTMP כווידאו בפורמט FLV.

מתאים ל

• בחינת יכולות Zeroscope

  צפייה באיכות הווידאו שמתקבלת משרשור של Zeroscope עם מודל שדרוג רזולוציה והחלקת פריימים.

• לימוד ארכיטקטורת שידור

  בדיקת האופן שבו מחברים שרת מדיה, FFmpeg ונגן מבוסס דפדפן לבניית ערוץ וידאו גנרטיבי.

• הערכת שילוב מודלים

  הבנת שרשרת העבודה שמתחילה בטקסט מ־GPT-4 ומסתיימת בקליפים קצרים של שלוש שניות.

איפה זה נופל

ההדגמה הזו מטעה אם אתם חושבים שמדובר בכלי אינטראקטיבי. אי אפשר לבקש ממנו לייצר סרטון לפי רעיון שלכם, והכול מבוסס על רשימת השמעה שהוכנה מראש בעבודת יד ידנית.

השידור מועבר בפורמט FLV ולכן הוא לא עובד בדפדפן של מכשירי iPhone, אם כי המפתח ציין מראה ב־Twitch. בנוסף, מדובר בניסוי שנבנה תוך ימים ספורים ולא במערכת יציבה, והוא לא מיועד לשימוש עצמאי בלי להקים ולהגדיר את שרת המדיה הנפרד.

איך משתמשים

נכון לעכשיו אי אפשר להריץ את השידור כי המרחב נמצא במצב מושהה. כשהוא פועל, אתם רק נכנסים לדפדפן והווידאו אמור להתחיל להתנגן בלי צורך בהרשמה או בלחיצה על כפתורים מורכבים.

הממשק עצמו יושב על חומרת מעבד בסיסית, מה שמספיק להצגת הנגן אבל לא לעיבוד הווידאו עצמו. את העבודה הכבדה מבצע שרת מדיה חיצוני, כך שזמני הטעינה והיציבות תלויים לחלוטין בשרת שמזין את השידור ולא בדף שבו אתם צופים.

הרישיון

הרישיון לא דווח בעמוד, ולכן אין היתר שימוש ברור בקוד עצמו. בנוסף, המפתח ציין במפורש שהפרויקט משתמש במודלים שמותרים למטרות מחקר בלבד, כך שאין שום אפשרות להשתמש בתוכן או במערך הזה לצרכים מסחריים.

הרישיון המלא ב־Hugging Face ↗