SAM_and_ProPainter
רץ בדפדפןSkalskiPרישיון לא דווח2023-11-01
הכלי מוחק אובייקטים מתוך וידאו וממלא את השטח שנותר על בסיס טקסט שאתם מקלידים. הוא מתאים למי שרוצה לנקות אלמנטים מסרטונים קצרים בלי לעשות מסכות ידניות בתוכנת עריכה.
- —הורדות בחודש
- 56לייקים
מה זה
אתם מעלים קובץ וידאו, מקלידים פרומפט טקסטואלי שמגדיר מה תרצו להסיר, וקובעים סף ביטחון בעזרת סליידר ייעודי. בתמורה מקבלים שני סרטונים חדשים: אחד שמציג את המסכה שנוצרה על גבי הפריימים, והשני מציג את הווידאו הסופי שבו החלק החסר שוחזר במלואו.
מאחורי הקלעים הקוד משלב את facebook/metaclip-b32-400m לזיהוי והבנת הטקסט מול התמונה, יחד עם facebook/sam-vit-large שגוזר את האובייקטים בדיוק גבוה, ומשם מעביר את המידע לתהליך שחזור באמצעות ProPainter. הדוגמה המובנית מציגה סרטון של להטוטן עם כדורים, שבו מזינים את המילה person בסף של 0.6 כדי להעלים אותו מהסצנה.
מתאים ל
- מחיקת אנשים מסרטונים
הסרת עוברי אורח מצילומי וידאו על ידי הזנת מילת מפתח מתאימה וסימון אוטומטי.
- העלמת חפצים לא רצויים
ניקוי פריטים שמפריעים לפריים ומילוי הרקע החסר בצורה עקבית לאורך הסרטון.
- בדיקת מסכות וידאו
בחינת איכות המיסוך של SAM מול טקסט באמצעות נגן הווידאו הייעודי למסכות.
איפה זה נופל
האפליקציה נמצאת כרגע במצב RUNTIME_ERROR, ולכן היא כלל לא תרוץ אם תנסו להפעיל אותה ישירות בדפדפן כעת. מעבר לכך, היא מוגבלת ליכולת של MetaCLIP לקשר במדויק בין הפרומפט שכתבתם לבין האובייקט בווידאו, כך שביטויים מורכבים מדי עלולים לפספס או לסמן אזורים לא נכונים.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
כרגע לא, כיוון שהיא מוגדרת במצב של תקלת ריצה. כדי שהיא תעבוד, היוצר יצטרך לתקן את השגיאה בקוד או שתוכלו לקחת את הקוד ולהריץ אותו בעצמכם. במצבה הנוכחי בדפדפן הפעולה תיכשל מיד.
האם השימוש בה עולה כסף?
הגישה לעמוד פתוחה לחלוטין ואינה דורשת תשלום כלשהו. הקוד נשען על תשתית ענן שכבר הוקצתה לו עבור ההדגמה. כל עוד העמוד זמין, אין צורך להכניס כרטיס אשראי כדי לנסות אותו.
האם הקבצים שמעלים נשמרים לצמיתות?
הקוד מייצר מזהי uuid ייחודיים לניהול הקבצים בזמן הריצה בתוך קונטיינר docker ייעודי. אין תיעוד במאגר על שמירה קבועה של הסרטונים שלכם במאגר חיצוני מעבר לזמן העיבוד המקומי. עם זאת, מדובר בסביבה ציבורית ולכן לא מומלץ להעלות חומרים רגישים.
האם אפשר להריץ את הכלי הזה במחשב האישי?
כן, הפרויקט בנוי בתוך docker ומאפשר שכפול של הסביבה באופן מקומי. עם זאת, תצטרכו כרטיס מסך חזק שמסוגל להחזיק את sam-vit-large ואת שאר הרכיבים בלי לקרוס מחוסר זיכרון. דרישות החומרה כאן כבדות משמעותית מריצה של מודלים פשוטים.
איך משתמשים
לוחצים על Submit אחרי בחירת הקובץ, הגדרת הטקסט וכוונון הסליידר. המערכת מריצה מעקב התקדמות חי באמצעות tqdm, כשהעיבוד נשען על חומרת a10g-small. אין דרישה להרשמה או התחברות כדי לשלוח בקשה דרך הדפדפן, אך עיבוד פריימים מלא במודלים כבדים אלה עלול לדרוש המתנה ניכרת.
הרישיון
הרישיון של המרחב לא דווח כלל על ידי היוצר. המשמעות היא שאין הרשאה ברורה ומפורשת לשימוש מסחרי בקוד או בתוצרים, ויש לבדוק את הרישיונות של המודלים הנלווים בנפרד.