multimodalart/cosxl

מה זה

בממשק יש שתי לשוניות נפרדות. בלשונית העריכה מעלים קובץ תמונה, מקלידים הנחיה כמו לשנות את מזג האוויר או לשדרג פרט ספציפי, ומקבלים תמונה מעובדת. בלשונית הרגילה מזינים תיאור טקסטואלי בלבד, למשל תמונת כלב מול האור או אסטרונאוט בג'ונגל, והכלי מייצר תמונה חדשה מאפס.

מאחורי הקלעים רצים המודלים של stabilityai/cosxl יחד עם פייפליין ייעודי של InstructPix2Pix המותאם לגרסת ה־CosXL. המערכת משתמשת ברכיבי CLIP של LAION ו־OpenAI לחלק הטקסטואלי, לצד גרסת VAE מתוקנת של Ollin לעיבוד התמונה. הדוגמאות המוכנות בעמוד מראות שינוי של נוף הררי ליום מעונן, עריכת עגיל בציור קיים, או הפקת פורטרטים עשירים בפרטים.

מתאים ל

• עריכת פרטים בתמונה

  שינוי אלמנט נקודתי או החלפת סגנון על בסיס תמונה קיימת והוראה מילולית.

• יצירת תמונות מטקסט

  הפקת דימויים ויזואליים מורכבים ישירות מתיאור טקסט חופשי.

• בדיקת מודל CosXL

  התנסות מעשית ביכולות המודל של Stability לפני שמשלבים אותו בקוד מקומי.

איפה זה נופל

ההדגמה מוגבלת למספר צעדים מרבי של 50, כך שאי אפשר לבדוק הפקות ארוכות ומדויקות יותר. בנוסף, מודלים של עריכת תמונה מבוססי הוראות נוטים לעיתים לשנות פרטים שלא ביקשתם לגעת בהם, והתוצאות בדוגמאות המוכנות מראש שמורות במטמון ולא מייצגות בהכרח כל ניסיון אקראי.

איך משתמשים

בוחרים לשונית, מקלידים את ההנחיה באנגלית, ואם מדובר בעריכה אז מעלים גם תמונה. אפשר לפתוח הגדרות מתקדמות כדי לשנות את ה־guidance scale שמוגדר כברירת מחדל על 7, להוסיף פרומפט שלילי, או לכוון את מספר הצעדים בין 10 ל־50 כשברירת המחדל עומדת על 20. לחיצה על Generate מפעילה את התהליך. היישום רץ על מעבד גרפי מסוג zero-a10g, מה שמבטיח זמני עיבוד סבירים אבל עשוי להכניס אתכם לתור קצר כשיש עומס משתמשים.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד. לגבי התמונות שאתם מעלים או מפיקים, השימוש כפוף לתנאי הרישיון של המודלים המקוריים שנטענים ברקע מחשבונות המפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗