STAR
רץ בדפדפןSherryXרישיון לא דווח2024-11-25
הכלי מגדיל רזולוציה של סרטוני וידאו בעזרת מודל שמשלב הנחיית טקסט. הוא מתאים למי שרוצה לשפר חדות של קליפ קיים ומוכן להזין תיאור מפורט של מה שקורה בתוכו.
- —הורדות בחודש
- 102לייקים
מה זה
מעלים קובץ וידאו, כותבים תיאור טקסטואלי שמפרט את הסצנה, ובוחרים פקטור הגדלה שנע בין 1 ל־4. בנוסף יש שליטה ידנית על גודל המקטעים לעיבוד כדי לאזן בין עומס זיכרון לביצועים, ובסוף מקבלים קובץ וידאו מוגדל לצפייה ולהורדה.
מתחת למכסה המנוע רץ קוד ייעודי של SherryX/STAR יחד עם רכיבים מבוססי PixArt-alpha ו־Stable Video Diffusion. השילוב הזה נעזר בטקסט כדי להבין מה אמור להיות בפריים וכך הוא משחזר פרטים חסרים בווידאו.
הממשק כולל שלוש דוגמאות מובנות שממחישות איך זה עובד. יש שם סרטון של פנדה שמנגנת בגיטרה מול אגם, אריה בדיוני עם כנפיים, וסרטון היסטורי בשחור לבן של גברים על מזח, כולם מלווים בפרומפטים ארוכים מאוד באנגלית שמסבירים את תוכן הסצנה.
מתאים ל
- שדרוג סרטוני AI
הגדלת רזולוציה לקליפים קצרים שנוצרו במחוללי וידאו מבוססי טקסט, תוך שימוש באותו תיאור מקורי.
- חידוד קטעי ארכיון
העלאת סרטונים ישנים באיכות ירודה יחד עם תיאור של הדמויות והרקע כדי לשחזר פרטים חסרים.
- בדיקת יכולות הגדלה
השוואת התנהגות המודל בהגדלות שונות של פי 2 עד פי 4 על מקטעי אנימציה או טבע.
איפה זה נופל
אם תעלו סרטון בלי לכתוב תיאור מדויק באנגלית, התוצאה תסבול מעיוותים כי המודל מסתמך על הטקסט להשלמת הפרטים. מעבר לזה, המערכת מוגבלת למקטעים קצרים מאוד של עד 32 פריימים לעיבוד, כך שאי אפשר פשוט לזרוק אליה סרט שלם. מי שבונה על פתרון אוטומטי שמשפר וידאו בלחיצה אחת יגלה שצריך כאן לא מעט התעסקות עם הגדרות וטקסט.
שאלות
נפוצות
האם השימוש עולה כסף?
לא, הגישה בדפדפן פתוחה וחינמית לחלוטין. היא רצה על תשתית שיתופית ולכן אין דרישה לתשלום או להכנסת פרטי אשראי.
כמה זמן לוקח לכל סרטון להתעבד?
זה תלוי בעומס על המערכת ובאורך המקטע שבחרתם. מכיוון שהעיבוד מתבצע על גבי מעבד A10G שמוקצה זמנית ומשלב מודלי דיפוזיה כבדים, זה בדרך כלל לוקח כמה דקות לסרטון קצר.
מה קורה לסרטונים שאני מעלה?
הווידאו נשלח לשרת שמריץ את הקוד לצורך פעולת ההגדלה בלבד. אין התחייבות לפרטיות במסגרת הדף הזה, ולכן לא מומלץ להעלות סרטונים אישיים.
האם חובה לכתוב פרומפט באנגלית?
כן, המודלים שמבצעים את הפעולה מאומנים על אנגלית. תיאור בעברית כנראה לא יובן נכון ויפגע באיכות השחזור של הווידאו.
איך משתמשים
טוענים סרטון, מקלידים פרומפט, קובעים את גודל המקטעים ולוחצים על Generate. אין צורך בהרשמה או התחברות לחשבון. הסביבה נשענת על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, מה שאומר שאם יש עומס ברשת תצטרכו להמתין לתור פנוי. עיבוד וידאו עם מודלי דיפוזיה כבדים כאלה לוקח זמן מורגש, והדוגמאות בממשק אינן שמורות מראש אלא דורשות ריצה מלאה בכל פעם.
הרישיון
הרישיון לא דווח במאגר. בלי הגדרה ברורה של רישיון שימוש, לא ברור אם מותר להשתמש בתוצרים לצרכים מסחריים. הקבצים שאתם מעלים עוברים דרך השרת של המרחב בזמן העיבוד, ומוטב לא להעלות לשם חומרים רגישים או פרטיים.