SD3.5-Large-IP-Adapter

מה זה

מדובר בתוסף מסוג IP Adapter שמיועד לעבוד יחד עם מודל הבסיס SD3.5 Large. הרעיון פשוט: במקום לתאר במילים את הסגנון או האובייקט שרוצים לייצר, מזינים תמונה, והמתאם מתרגם אותה לייצוג שהמודל מבין בדיוק כמו טקסט רגיל. צוות InstantX בנה אותו עם שכבות חדשות בכל 38 הבלוקים של המודל המקורי, והשתמש ב SigLIP של גוגל כדי לקודד את תמונת הקלט בצורה חדה ומדויקת יותר, עם הקצאה של 64 טוקנים לתמונה.

בפועל, המשקל של הקבצים קטן יחסית, 1.5 גיגה בייט בלבד, אבל הוא לא עובד עצמאית אלא מתלבש על מודל ענק וכבד. היתרון שלו הוא היכולת לחבר תמונת מקור לתהליך היצירה של SD3.5 בלי לשנות את המשקולות המקוריות, מה שנותן כיוון חזותי חזק לתהליך הג'נרוט באנגלית.

מתאים ל

• שמירה על סגנון ויזואלי

  העברת שפה גרפית מתמונת מקור אחת ליצירות חדשות על בסיס SD3.5 בלי לאמן LoRA מאפס.

• עבודה בתזרימי ComfyUI

  הוספת בקרת תמונה ישירה לתוך פייפליין קיים באמצעות הצומת הייעודי שפותח עבורו.

• החלפת תיאורי טקסט מסובכים

  הזנת תמונה מורכבת שקשה להסביר במילים באנגלית כדי לכוון את התוצאה הסופית.

איפה זה נופל

המפתחים מודים בגלוי בבעיה מהותית: התמונה מתנהגת בדיוק כמו טקסט, ולכן המודל עלול לא להגיב אליה טוב או לייצר התנגשויות והפרעות מול הפרומפט המילולי שכתבתם. בנוסף, הקוד עדיין לא חלק מספריית diffusers הרשמית ומחייב שימוש בקבצים מקומיים או בצומת קהילתי ב ComfyUI. אם אתם צריכים שליטה מוחלטת בהפרדה שבין הפרומפט לתמונה, צפו להרבה ניסוי וטעייה.

איך מריצים

כדי להריץ אותו צריך קודם כל חומרה שמחזיקה את מודל הבסיס SD3.5 Large, מה שאומר כרטיס מסך חזק עם זיכרון וידאו משמעותי, ולא לפטופ ממוצע. המתאם עצמו מוסיף עוד משקל קל אבל דורש גם את אנקודר התמונה SigLIP של גוגל ברקע.

הקוד עדיין לא שולב ישירות בתוך diffusers הרשמי, כך שצריך למשוך את הקבצים המקומיים מהמאגר או להשתמש בתוסף ComfyUI ייעודי של הקהילה. אם אין לכם שרת עם GPU ייעודי פנוי, פתרון ענן שמריץ ComfyUI או API מנוהל יהיה פשוט בהרבה מהתעסקות בסקריפטים המקומיים.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("InstantX/SD3.5-Large-IP-Adapter")
img = pipe("a photo").images[0]

הקבצים

13 קבצים במאגר, 1.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• ip-adapter.bin1.6 GB
• teasers/1.png5.3 MB
• teasers/0.png5.2 MB
• assets/1.jpg972.9 KB
• assets/2.jpg654.6 KB
• pipeline_stable_diffusion_3_ipa.py57.6 KB
• models/attention.py53.5 KB
• models/transformer_sd3.py17.3 KB
• models/resampler.py9.5 KB
• README.md3.2 KB
• .gitattributes1.6 KB
• infer_sd35_large_ipa.py1.2 KB
• models/__init__.py0 B

הרישיון

הרישיון מוגדר תחת stabilityai community license של מודל הבסיס SD3.5 Large. מותר להשתמש בו למחקר ויצירה, אבל שימוש מסחרי במוצר כפוף למגבלות של סטאביליטי, כולל תקרות הכנסה שמעבר להן תצטרכו לשלם להם על רישיון ארגוני.

הרישיון המלא בעמוד המודל ↗