חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
I

ip-composer

רץ בדפדפן

IP-composerרישיון לא דווח2025-03-27

  • gradio

הכלי מרכיב תמונות חדשות על ידי שילוב מושגים חזותיים מתמונות שונות לתוך תמונת בסיס. הוא מיועד ליוצרים שרוצים להעביר תכונות כמו סגנון, פוזה או חומר מתמונה אחת לאחרת.

  • —הורדות בחודש
  • 82לייקים

מה זה

מעלים תמונת בסיס חובה ובוחרים עד שלוש תמונות קונספט נוספות. לכל תמונת קונספט מגדירים קטגוריה מתוך רשימה מוכנה, למשל גיל, פרווה, רגשות, תנוחה, עונות שנה או חומרים. אפשר גם לטעון קובץ טקסט עצמאי עם מעל מאה וריאציות של תיאורים כדי להגדיר קונספט מותאם אישית.

מאחורי הקלעים רץ מודל Stable Diffusion XL יחד עם מתאם IP-Adapter מבוסס משקולות ViT-H ומודל CLIP של LAION. השיטה מחשבת הטמעות וקטוריות דרך פירוק SVD כדי לשלב את המאפיינים החזותיים מתמונות הקונספט ישירות אל תהליך יצירת התמונה החדשה של מודל הבסיס.

מתאים ל

  • החלפת חומר או מרקם

    מעבירים מרקם של אבן, מתכת או פרווה מתמונת דוגמה ישירות על גבי אובייקט קיים בתמונת הבסיס.

  • שינוי סגנון ותלבושת

    משלבים סוג לבוש או דוגמת בד מתמונת השראה אחת על דמות שנמצאת בתמונת המקור.

  • התאמת תנוחה והבעה

    דוגמים פוזה או הבעת פנים מתמונת קונספט ומלבישים אותה על הנושא הראשי.

איפה זה נופל

חייבים להעלות תמונת בסיס ולבחור לפחות קונספט אחד, אחרת הממשק זורק שגיאה ואינו מייצר דבר. אם רוצים להגדיר קונספט חדש שלא מופיע ברשימה, נדרש קובץ טקסט עם עשרות תיאורים חלופיים, מה שמסרבל את העבודה. בנוסף, המצב המושהה של המרחב חוסם שימוש מיידי.

שאלות
נפוצות

האם הכלי עובד בחינם כרגע בדפדפן?

השימוש בממשק עצמו אינו כרוך בתשלום, אך נכון לעכשיו הוא במצב מושהה. כדי להשתמש בו צריך להעיר את המרחב או לשכפל אותו לחשבון פרטי שמחזיק משאבי חומרה מתאימים.

כמה זמן לוקח לייצר תמונה?

כשהשרת פעיל עם מעבד ה־A10G המוקצה לו, התהליך לוקח שניות בודדות. אם מעלים קובץ טקסט עם הגדרות קונספט חדשות, המערכת מחשבת הטמעות וקטוריות במקום וזה עלול לקחת מעט יותר זמן.

האם אפשר להריץ את הקוד באופן מקומי?

כן, הקוד מסתמך על ספריות diffusers ומשקולות של IP-Adapter ו־SDXL שזמינות להורדה. תצטרכו כרטיס מסך חזק עם זיכרון וידאו מספק כדי להחזיק את המודלים האלה במחשב שלכם.

במה זה שונה משימוש רגיל ב־SDXL?

הכלי אינו מסתמך רק על הנחיות טקסטואליות, אלא משתמש בפירוק מתמטי של תמונות קונספט כדי להזריק מאפיינים מוגדרים. כך אפשר לשלוט במדויק על אלמנטים כמו תאורה, תנוחה או בגדים בלי להסתבך עם ניסוח פרומפטים מורכבים.

איך משתמשים

טוענים תמונת מקור, מוסיפים לפחות תמונת קונספט אחת ובוחרים את סוג המושג מהרשימה או מקובץ חיצוני. השרת מוגדר על חומרת A10G דרך ZeroGPU, כך שהעיבוד מהיר כשהמכונה פעילה. בפועל המרחב נמצא כרגע במצב מושהה, ולכן אי אפשר להריץ אותו ישירות בדפדפן בלי להפעיל או לשכפל אותו מחדש.

הרישיון

הרישיון של המרחב לא דווח בקוד או בתיעוד. ללא רישיון מוגדר לא ברור אם מותר להשתמש בתוצרים לצרכים מסחריים, ורצוי לבדוק בנפרד את תנאי הרישיון של המודלים המקוריים SDXL ו־IP-Adapter.

הרישיון המלא ב־Hugging Face ↗