חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
O

OMG-InstantID

רץ בדפדפן

Fuciusapache-2.02024-03-21

  • gradio

הכלי מייצר תמונות משולבות של שתי דמויות ספציפיות לפי תמונות פנים ופרומפטים נפרדים. הוא מתאים למי שרוצה לשלוט בזהות ובמיקום של כמה אנשים באותה תמונה.

  • —הורדות בחודש
  • 53לייקים

מה זה

מזינים שתי תמונות פנים נפרדות, אחת לגבר ואחת לאישה, כותבים תיאור טקסטואלי לכל דמות בנפרד ופרומפט כללי לסצנה כולה. אפשר להעלות גם תמונת תנאי אופציונלית, לבחור סגנון מתוך רשימה, ולקבוע רזולוציה. התוצאה היא תמונה חדשה שמשלבת את שתי הדמויות לפי ההנחיות, יחד עם תצוגה של תנאי הקלט שחושב.

מאחורי הקלעים הקוד משלב את מחקר OMG עם InstantID על גבי SDXL. הוא מריץ צינורות ייעודיים לריבוי דמויות שמשלבים מודלים של ControlNet לתנוחה, עומק וקצוות, לצד רשתות כמו DPT להערכת עומק, GroundingDINO ו־YOLO לזיהוי וחיתוך אזורים, כדי למנוע ערבוב של תווי הפנים בין הדמויות.

מתאים ל

  • יצירת סצנה עם זוג

    שילוב שתי דמויות מוגדרות מראש לפי תמונות פנים נפרדות בתוך פריים יחיד.

  • שליטה בתנוחה ועומק

    הפעלת מודלי עזר כמו OpenPose או Depth כדי לקבוע את מיקום הדמויות בדיוק.

  • התאמת סגנון ויזואלי

    הלבשת זהויות הפנים על גבי תבניות סגנון מובנות מתוך הרשימה בממשק.

איפה זה נופל

הבעיה המרכזית היא שהדמו לא עובד כרגע ונתקע בשגיאת הגדרה, כך שאי אפשר להפיק תמונות ישירות בעמוד. מעבר לכך, הממשק מקובע מראש לחלוקה של גבר ואישה עם שדות נפרדים, מה שמגביל שילובים של דמויות מאותו מין או יותר משני אנשים בלי להתעסק בקוד המקורי.

שאלות
נפוצות

האם השימוש חינמי?

כן, הממשק פתוח ללא תשלום או צורך בהזנת פרטי אשראי. עם זאת, הוא סובל משגיאת הגדרה במערכת כרגע ולא מייצר פלטים בפועל.

האם אפשר להריץ את זה מקומית?

כן, הקוד מבוסס על ספריות Diffusers ו־Gradio תחת רישיון קוד פתוח. כדי להריץ אותו עצמאית נדרש מחשב עם מעבד גרפי חזק שיכול לטעון את SDXL ואת שלל מודלי העזר.

למה הממשק לא מגיב?

היישום מוגדר במצב CONFIG_ERROR בשרת. זה אומר שיש כשל בטעינת הקבצים או בהגדרת הסביבה של המפתח, והוא לא פעיל עד שיתוקן.

איך משתמשים

לוחצים על Submit אחרי הזנת התמונות והטקסטים, ללא צורך בהרשמה או התחברות. יש סליידרים מתקדמים לעוצמת ה־ControlNet, ה־IdentityNet, ה־Adapter, ה־CFG והסיד.

בפועל, היישום מוגדר על חומרת Zero-A10G, אבל המצב שלו מדווח כתקלת הגדרה ולכן הוא לא רץ ישירות בדפדפן כרגע.

הרישיון

הקוד והפרויקט מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה תחת תנאי הרישיון. תנאי השימוש בתמונות המועלות והנוצרות תלויים במדיניות האחסון של Hugging Face ומשקלי המודלים המקוריים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗