Insert-Anything
רץ בדפדפןWensongSongרישיון לא דווח2025-04-25
הכלי שותל חפצים מתמונת מקור לתוך תמונת רקע באמצעות מודלי דיפוזיה וזיהוי מתקדמים. הוא מיועד למי שרוצה לשלב אלמנט ויזואלי מסוים בתוך סצנה קיימת בלי עבודת פוטושופ ידנית.
- —הורדות בחודש
- 38לייקים
מה זה
אתם מעלים שתי תמונות, תמונת רקע ותמונת רפרנס שממנה לוקחים את החפץ. עבור כל אחת מהן צריך להגדיר מסכה, או על ידי ציור ידני בעזרת מברשת, העלאת קובץ מסכה מוכן, או הקלדת תיאור קצר כמו car או dress כדי לייצר אותה אוטומטית בעזרת מודלי זיהוי. הפלט מציג בגלריה את התוצאה הסופית, ומאפשר גם תצוגה מפוצלת בין המקור לתוצאה.
מאחורי הקלעים הקוד משלב את FLUX.1 Fill dev יחד עם FLUX.1 Redux dev לטובת הדיפוזיה והשילוב, לצד מודל ייעודי של הפרויקט. לחילוץ המסכות הטקסטואלי רצים ברקע GroundingDINO יחד עם BERT ו־RoBERTa לזיהוי טקסט ותמונות, ובנוסף רכיבי Segment Anything של פייסבוק.
הממשק כולל דוגמאות מוכנות מראש שמציגות תמונת רקע, מסכת רקע, אובייקט רפרנס ומסכת רפרנס, כך שאפשר לבדוק את אופן הפעולה גם בלי להעלות קבצים אישיים מיד.
מתאים ל
- השתלת חפץ ברקע חדש
לקיחת פריט בודד מתמונה קיימת ושילובו בתוך סצנה אחרת לפי מסכה מוגדרת.
- בידוד עצם לפי טקסט
חיתוך אוטומטי של מוצר או פריט מתמונת רפרנס על ידי הקלדת שמו באנגלית.
- ניסויים ביצירת דיפוזיה
בדיקת היכולות של FLUX Fill ו־Redux בהשלמת אזורים מותאמת אישית.
איפה זה נופל
הבעיה הגדולה ביותר היא שהאפליקציה נמצאת במצב של Runtime Error, מה שאומר שהיא לא עובדת כלל בעמוד המקוון כרגע. מעבר לזה, הקוד מנסה להוריד משקלים כבדים מאוד של FLUX ולשלוח חישובים לכרטיס מסך, בעוד המכונה בפועל מוגדרת עם מעבד בלבד.
אם מריצים את הקוד עצמאית, יש לזכור שזיהוי אוטומטי של עצמים מוגבל לטקסט באנגלית פשוטה בלבד ולא מזהה עברית, ומסכות מורכבות עלולות לגרום לעיוותים בשילוב הסופי של האובייקט.
שאלות
נפוצות
האם הכלי פתוח בחינם?
הגישה לעמוד בהאגינג פייס פתוחה ללא תשלום, אך נכון לעכשיו הוא במצב של שגיאה ולא מפיק תוצאות. שימוש במודלים המקוריים של FLUX dev דורש בדרך כלל הרשאות וטוקן אישי. לכן, גם אם יחזור לפעול, ייתכנו תנאי גישה ייעודיים למודלים.
אפשר להריץ את זה על המחשב?
כן, הקוד מבוסס על ספריות סטנדרטיות של פייתון כמו diffusers ומשתמש ב־GroundingDINO ו־SAM. עם זאת, נדרש כרטיס מסך חזק מאוד עם כמות זיכרון גדולה כדי להריץ את FLUX.1 Fill באופן מקומי. ללא מעבד גרפי מתאים, ההרצה תיכשל בדיוק כפי שקרה בשרת.
למה האפליקציה לא מגיבה כשלוחצים עליה?
העמוד מדווח על שגיאת מערכת פעילה ולא מצליח לטעון את הסביבה כראוי. הסיבה העיקרית היא ניסיון להריץ פקודות של כרטיס מסך על חומרת מעבד בסיסית בלבד. עד שהמפתח לא יתקן את ההגדרות, לא ניתן לקבל פלט.
איך עובד הזיהוי לפי תיאור כתוב?
מקלידים מילת מפתח באנגלית, למשל צעצוע או רכב, בתיבת התווית. המערכת מפעילה את מודל GroundingDINO יחד עם SAM כדי למצוא את האובייקט ולייצר עבורו מסכה באופן אוטומטי. זה חוסך את הצורך לצייר ידנית על גבי התמונה.
איך משתמשים
טוענים את שתי התמונות ומסמנים בהן את המסכות הרלוונטיות, או מקלידים תיאור אם בוחרים בזיהוי אוטומטי. בהגדרות המתקדמות אפשר לקבוע מספר Seed ספציפי כדי לשנות את התוצאה, כאשר ערך ברירת המחדל עומד על 666, ואז לוחצים על כפתור Run.
כרגע אין מה לצפות למהירות או לתגובה מהירה בדפדפן, כי החומרה המוגדרת היא מעבד בסיסי בלבד ללא מאיץ גרפי, והעמוד עצמו מדווח על שגיאת זמן ריצה ואינו פעיל.
הרישיון
הרישיון של המרחב עצמו לא דווח כלל, כך שאין היתר שימוש ברור ומפורש בקוד או בתוצרים. בנוסף, המודלים ברקע כוללים את FLUX.1 dev של Black Forest Labs, שמגיע במקור עם תנאי שימוש מגבילים שאינם מאפשרים שימוש מסחרי חופשי.