חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
R

roop

רץ בדפדפן

johnhelfagpl-3.02023-07-14

  • gradio

החלפת פנים ישירה מתמונה אחת לתמונה אחרת. מתאים למי שרוצה לבדוק עיבוד פנים בסיסי בלי להתקין ספריות כבדות במחשב.

  • —הורדות בחודש
  • 42לייקים

מה זה

מעלים שתי תמונות, אחת עם הפנים שרוצים לקחת והשנייה עם הגוף או הרקע שאליו שותלים אותן. בנוסף יש תיבת סימון של משפר פנים, שמנסה לחדד את התוצאה הסופית כדי שלא תיראה מטושטשת או מודבקת מדי.

מאחורי הקלעים הקוד משתמש במודל inswapper_128 של thebiglaskowski בפורמט onnx, יחד עם רכיבי עיבוד מתוך roop. המודל הזה עובד ברזולוציה בסיסית יחסית, כך שתווי הפנים נלקחים מהמקור ומושתלים על היעד תוך ניסיון לשמור על התאורה ועל זווית הראש הקיימת בתמונת היעד.

מתאים ל

  • בדיקת החלפת פנים בתמונות

    ניסוי מהיר של שתילת פנים מתצלום אחד לתוך תצלום אחר.

  • בחינת מודל inswapper

    בדיקה של ביצועי המודל הספציפי והרזולוציה שלו על תמונות סטילס.

  • השוואת איכות עם משפר

    בדיקה האם רכיב שיפור הפנים מצליח לחדד את התוצאה המטושטשת.

איפה זה נופל

הבעיה המיידית היא שהמרחב מסומן בשגיאת ריצה ולא מייצר שום דבר בדפדפן כרגע. מעבר לזה, המודל מתבסס על רזולוציה פנימית של 128 פיקסלים, כך שהחלפת פנים בתמונות גדולות או חדות מאוד עלולה לצאת מטושטשת, גם אם מסמנים את אפשרות השיפור. זה כלי שמיועד רק לתמונות בודדות ולא מטפל בווידאו בממשק הזה, למרות שספריית roop המקורית ידועה בעיקר בזכות החלפות בווידאו.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה הזאת עכשיו?

לא ישירות בדפדפן, כי המרחב מדווח כרגע על שגיאת ריצה. כדי להשתמש בה תצטרכו להוריד את הקוד, להתקין את התלויות ולתקן את השגיאה בסביבה מקומית משלכם.

כמה זמן לוקח לקבל תמונה?

האפליקציה מוגדרת על מעבד רגיל בלבד ללא האצת חומרה גרפית. עיבוד כזה לוקח בדרך כלל כמה עשרות שניות לתמונה בודדת, במיוחד אם מפעילים את תיבת שיפור הפנים.

האם אפשר להחליף פנים בסרטון וידאו כאן?

לא בממשק הזה. למרות שחבילת roop תומכת בהחלפה בפריימים של וידאו, הממשק הנוכחי מקבל רק שתי תמונות ופולט תמונה אחת בלבד.

האם האפליקציה שומרת את התמונות שמעלים?

הקוד מבצע שמירה ועיבוד מקומי של הקבצים בשרת בזמן הריצה כדי לייצר את הפלט. אין כאן מנגנון מוצהר של מחיקה מיידית או שמירה מסודרת במאגר, אבל השרת זמני לחלוטין.

איך משתמשים

נכנסים לממשק וגוררים תמונת מקור ותמונת יעד לשני השדות הראשונים. אם רוצים, מסמנים את אפשרות שיפור הפנים ולוחצים על כפתור ההרצה כדי לקבל תמונה אחת חדשה.

בפועל, המרחב מוגדר לרוץ על חומרת מעבד בסיסית, מה שהופך את כל תהליך העיבוד לאיטי מאוד בהשוואה לעבודה עם כרטיס מסך. נכון לעכשיו המרחב גם נמצא במצב של שגיאת ריצה, כך שאי אפשר להפעיל אותו ישירות בדפדפן בלי שמישהו יתקן את הסביבה או יריץ את הקוד במקום אחר.

הרישיון

הפרויקט מפורסם תחת רישיון agpl-3.0, שמחייב שיתוף קוד פתוח תחת אותו רישיון אם מבצעים שינויים ומריצים אותם ברשת. לגבי זכויות על התמונות שאתם מעלים או התוצאות, הדבר תלוי בזכויות היוצרים המקוריות של התמונות שלכם ובתנאי השימוש הרחבים של האתר המארח.

הרישיון המלא ב־Hugging Face ↗