OmniGen

מה זה

אתם מקלידים הנחיית טקסט ויכולים להעלות עד שלוש תמונות קלט שונות במקביל. בתוך הטקסט מתייחסים לתמונות ישירות לפי תגיות מוגדרות, והתוצאה שיוצאת היא תמונה חדשה שמבוססת על השילוב ביניהן.

מאחורי הקלעים רץ המודל Shitao/OmniGen-v1 יחד עם הרכיב stabilityai/sdxl-vae. המערך הזה בנוי לבצע משימות שונות כמו יצירה מאפס, עריכה או העברת תנוחה תחת מודל אחד, במקום לפצל את העבודה בין כמה כלים נפרדים. הממשק כולל דוגמאות מובנות שממחישות איך לסדר את הטקסט ביחס לתמונות שהעליתם.

מתאים ל

• שינוי תנוחה של דמות

  מעלים תמונה של דמות ותמונת יעד לתנוחה, ומבקשים תמונה חדשה באותה פוזיציה.

• יצירת תמונה מכמה מקורות

  מזינים שתיים או שלוש תמונות שונות ומשלבים אלמנטים מתוכן לתוך פריים אחד בעזרת טקסט.

• יצירה ישירה מטקסט

  כותבים תיאור מפורט בלי לצרף תמונות ומייצרים תמונה חדשה לגמרי דרך המודל האחוד.

איפה זה נופל

ההדגמה מוגבלת לשלוש תמונות קלט בלבד, כך שאי אפשר להזין רצפים ארוכים יותר דרך הדפדפן. שילוב של מודל כבד ופרמטרים רבים כמו גודל תמונה מרבי או צעדים מרובים עלול להביא לזמני המתנה ממושכים, במיוחד אם מפעילים פינוי זיכרון מהכרטיס. אם אתם מצפים לתוצאות מיידיות בלי לכוון את ערכי ההנחיה, התוצאה עשויה לא להתאים לכוונה.

איך משתמשים

טוענים תמונות לשדות הקלט אם רוצים, כותבים את ההנחיה בתיבת הטקסט ולוחצים על Generate Image. יש אפשרות לכוון ידנית גובה, רוחב, כמות צעדי יצירה, וערכי הנחיה נפרדים לטקסט ולתמונה. האפליקציה רצה על חומרת zero-a10g, מה שאומר שהיא מקצה כרטיס גרפי לפי דרישה. זמן הריצה מושפע מעומס כללי, מכמות הצעדים שתבחרו ומהשאלה אם המודל נטען מחדש באותו רגע.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד, כולל התאמה לצרכים מסחריים. הקבצים והתמונות שאתם מעלים עוברים דרך השרת שמארח את ממשק ה־Gradio בזמן העיבוד, ואין כאן התחייבות לפרטיות של סביבה סגורה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗