חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
I

IC-Custom

רץ בדפדפן

TencentARCother2025-08-24

  • gradio

הכלי מיועד להתאמה אישית של תמונות, ומשלב אובייקטים מתמונת מקור לתוך תמונת יעד. הוא מתאים למי שרוצה לשתול אלמנט מסוים בסצנה חדשה לפי מסכה והנחיית טקסט.

  • —הורדות בחודש
  • 39לייקים

מה זה

אתם מעלים תמונת יעד ומסמנים עליה מסכה שקובעת איפה השינוי יקרה. במקביל מעלים תמונת ייחוס של האובייקט שרוצים להעתיק, ומקלידים תיאור טקסטואלי שמסביר מה לעשות. התוצאה היא תמונת היעד כשהאובייקט משולב בתוכה באזור המסומן, ברזולוציה המקורית של תמונת הבסיס.

מאחורי הקלעים פועלת שרשרת מודלים כבדה. היא כוללת את FLUX.1 Fill ו־FLUX.1 Redux ליצירה והשלמה של התמונה, יחד עם SAM ו־BEN2 לחיתוך מקטעים והסרת רקע. בנוסף מעורבים בתהליך מקודדי הראייה SigLIP ו־CLIP, מודל השפה T5, ומודל הראייה-שפה Qwen2.5-VL לניתוח הקלטים. יש בממשק גם דוגמאות מובנות שמציגות מסכות מוכנות, תמונות מקור והתוצאות שנוצרו.

מתאים ל

  • השתלת מוצרים בסצנה

    מעלים תמונת מוצר ומסמנים אזור בתמונת רקע כדי למקם אותו בהתאם לפרומפט.

  • החלפת אובייקטים בתמונה

    מסמנים פריט קיים כמסכה ומגדירים פריט מתמונת ייחוס שייכנס במקומו.

  • עריכת תמונות מונחית טקסט

    משלבים הנחיות טקסט עם חיתוך ויזואלי של SAM כדי לבודד ולהחליף אלמנטים.

איפה זה נופל

נכון לעכשיו אי אפשר להריץ את הכלי בדפדפן כי הוא תקוע במצב של שגיאת ריצה. מעבר לזה, המנגנון מחייב התאמה בין המסכה, הטקסט ותמונת הייחוס, ואם תשכחו לסמן מסכה או להעלות את אחת התמונות, הפעולה תיעצר עם שגיאה. מכיוון שמדובר בשילוב של מספר רב של מודלים עצמאיים, קשה לדעת מראש איזה חלק בשרשרת יפספס אם התוצאה לא תיראה טבעית.

שאלות
נפוצות

האם הכלי זמין כרגע לשימוש?

לא, העמוד נמצא במצב של שגיאת ריצה ולכן אי אפשר לבצע בו יצירה חדשה כרגע. צריך להמתין שיוצרי המרחב יתקנו את הקוד או את טעינת המודלים. עד אז הממשק עשוי להיטען אך לא יפיק פלט.

האם השימוש כרוך בתשלום?

האפליקציה פתוחה בדפדפן ומנצלת חומרת ZeroGPU שמוקצית ללא תשלום ישיר. אין דרישה למנוי או תשלום כדי לגשת לממשק. עם זאת, ייתכנו מגבלות זמן שימוש שחלות על החומרה השיתופית.

מה קורה לתמונות שמעלים לממשק?

התמונות נשלחות לשרת שמריץ את הממשק כדי לבצע את תהליך החיתוך, המיסוך והיצירה מחדש. לא נמסר מידע על שמירה ארוכת טווח של הקבצים בשרת. למרות זאת, כדאי להימנע מהעלאת מידע רגיש או פרטי.

אפשר להריץ את הדבר הזה באופן עצמאי על המחשב?

הקוד בנוי על פייתון וספריות מוכרות, כך שטכנית אפשר להוריד אותו ולהריץ מקומית. הבעיה היא שהפייפליין טוען שרשרת מודלים גדולה מאוד שכוללת את FLUX, SAM ו־Qwen2.5-VL. הרצה כזו דורשת כרטיס מסך חזק מאוד עם נפח זיכרון משמעותי.

איך משתמשים

התהליך מתבצע ישירות בדפדפן דרך ממשק גרדיו. מסמנים נקודות או מציירים מסכה על תמונת היעד, מעלים את תמונת הייחוס, ומריצים. הממשק מציג מד התקדמות ובסוף מדווח את משך הריצה המדויק בשניות. המערכת מוגדרת להקצות כרטיס מסך A10G דרך תשתית ZeroGPU בזמן עיבוד, כך שאין צורך בהתקנה מקומית, אבל עומס על השרתים או טעינת מודלים עלולים לגרור המתנה בתור.

הרישיון

הרישיון מוגדר כ־other, כלומר תנאי שימוש מותאמים אישית שלא פורטו בעמוד. כדאי לבדוק את תנאי הרישיון המקוריים של המודלים המעורבים, בייחוד אלה של סדרת FLUX, לפני שמשתמשים בפלט או בחומרים שמעלים לשימוש מסחרי.

הרישיון המלא ב־Hugging Face ↗