חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
J

joyai-video-edit

רץ בדפדפן

wxDaiרישיון לא דווח2026-08-10

  • gradio

הכלי עורך וידאו ממצלמת הרשת שלכם בזמן אמת בעזרת בינה מלאכותית. הוא מיועד למי שרוצה לבדוק יכולות של עריכת וידאו חיה ישירות בדפדפן בלי להתקין סביבת פיתוח מקומית.

  • —הורדות בחודש
  • 54לייקים

מה זה

אתם פותחים את המצלמה של המחשב, מזרימים את הווידאו דרך הדפדפן, והמערכת מעבדת אותו תוך כדי תנועה ומחזירה שידור חי ערוך. התקשורת עובדת דרך חיבור וובסוקט שמעביר וידאו בקידוד תקני לשני הכיוונים.

מאחורי הקלעים רץ שילוב של מודל עריכה כבד מבוסס טרנספורמר בשם JoyAI Video Edit יחד עם המודל MiMo-VL להבנת טקסט, ומודול VAE מותאם להזרמה רציפה. המערכת משתמשת גם בהרחבות קוד ייעודיות לחישובי מטריצות מהירים כדי להחזיק את הקצב על החומרה.

מתאים ל

  • בדיקת עיבוד חי

    התרשמות מיכולת התגובה של מודלי שפה ווידאו גדולים על שידור חי ממצלמה.

  • הערכת זמני השהיה

    בדיקה של עיכוב התמונה בהזרמת וידאו דו כיוונית לפני שמרימים שרת ייעודי.

  • בחינת מודל JoyAI

    הצצה ראשונה לביצועים של צינור העריכה מבית jdopensource בלי להוריד עשרות גיגהבייט.

איפה זה נופל

ההדגמה מוגבלת מאוד בזמן ואינה מתאימה לעריכת סרטונים קיימים מקבצים, אלא רק לשידור חי ממצלמה. מכסת הזמן של שישים שניות מספיקה רק להתרשמות קצרה. בנוסף, בגלל מגבלות הזיכרון של התשתית החינמית והחימום ההתחלתי, אי אפשר לצפות כאן ליציבות של שידור מסחרי או לאיכות הגבוהה ביותר שהמודל מסוגל לספק בריצה עצמאית.

שאלות
נפוצות

האם השימוש עולה כסף?

השימוש בהדגמה פתוח בחינם. עם זאת, יש מכסה של כשישים שניות של זמן עיבוד בכל פעם בגלל מגבלות החומרה השיתופית.

מה קורה עם שידור הווידאו שלי?

הווידאו זורם ישירות דרך וובסוקט אל השרת שמריץ את ההדגמה לצורך עיבוד התמונה בזמן אמת. המפתחים לא ציינו שמירה של החומרים, אך מאחר שמדובר בשרת ענן ציבורי ללא פירוט פרטיות, עדיף לא לחשוף מידע רגיש מול המצלמה.

האם אפשר להריץ את זה מקומית?

אפשר להוריד את הקוד ואת המודלים ממאגרי המקור. בשביל ריצה עצמאית תצטרכו מחשב חזק עם כרטיס גרפי מתאים, סביבת פייתון ותמיכה בהרחבות המותאמות שמופיעות בקוד.

למה הווידאו מקוטע בתחילת ההפעלה?

הקוד מבצע פעולות הכנה וממלא את זיכרון הכרטיס הגרפי בשניות הראשונות של כל חיבור. כתוצאה מכך שניים או שלושה הפריימים הראשונים מעובדים באיטיות יחסית לפני שהמערכת מגיעה לקצב הרגיל.

איך משתמשים

נכנסים לעמוד, מאשרים גישה למצלמת הרשת ומתחילים להזרים. אין צורך בהרשמה מיוחדת, אבל מאחר שהחישוב רץ על חומרת A10G שיתופית, כל הפעלה מקבלת הקצאת זמן של עד כשישים שניות בלבד. שניים או שלושה המקטעים הראשונים זזים לאט יותר בגלל חימום ראשוני של הזיכרון והמעבד הגרפי, ואחר כך הקצב מתייצב.

הרישיון

הרישיון של המרחב הזה לא דווח. זה אומר שאין אישור מפורש להשתמש בפלט לצרכים מסחריים, ומומלץ להתייחס לכל מה שמוזרם שם כניסוי טכנולוגי בלבד.

הרישיון המלא ב־Hugging Face ↗