OmniGen2 — הדגמה

מה זה

מזינים הוראת טקסט לצד עד שלוש תמונות קלט שונות, ומקבלים תמונה חדשה שמשלבת או מעבדת אותן. הממשק חושף שליטה מלאה בפרמטרים: גובה ורוחב, סולמות הנחיה לטקסט ולתמונה, טווח CFG, כמות צעדי יצירה ובחירת סקדולר מתוך FlowMatchEulerDiscreteScheduler או DPMSolverMultistepScheduler.

מאחורי הקלעים רץ הצינור של OmniGen2, שמשלב הבנת תמונה עם יצירה מרובת מצבים במודל יחיד. הקוד כולל דוגמאות מובנות שממחישות איך לתת הוראות שמתייחסות לכמה תמונות בבת אחת כדי להרכיב תוצאה חדשה.

מתאים ל

• שילוב מספר תמונות

  מעלים עד שלוש תמונות ונותנים הנחיה שמרכיבה מהן תמונה אחת חדשה.

• עריכת תמונה מונחית טקסט

  מזינים תמונה קיימת ומבקשים בטקסט לשנות בה פרטים, סגנון או דמויות.

• יצירה ישירה מטקסט

  כותבים פרומפט בלי להעלות תמונות מקור ומכוונים את צעדי הסקדולר.

איפה זה נופל

הממשק מוגבל לקבלת שלוש תמונות בלבד ופלט של תמונה, כך שלא מקבלים כאן מענה טקסטואלי רגיל של מודל ראייה. הרצה על חומרת ZeroGPU עלולה להיתקע או לחכות בתור אם המכסה נגמרת, ותמונות כבדות מדי מוגבלות בגודל הצלע ובפיקסלים המקסימליים שהוגדרו בסליידרים.

איך מריצים

נכנסים לעמוד, כותבים הנחיה בתיבת הטקסט, מעלים תמונה אחת עד שלוש אם רוצים הכוונה ויזואלית, ולוחצים על Generate Image. העיבוד רץ על מאיץ A10G בתשתית ZeroGPU של HF Spaces, מה שאומר שהכרטיס מוקצה דינמית לכל ריצה. זמן ההמתנה תלוי במספר הצעדים ובשאר המשתמשים בתור באותו רגע.

pip install -U huggingface_hub
hf download OmniGen2/OmniGen2

הקבצים

41 קבצים במאגר, 29.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/diffusion_pytorch_model-00001-of-00002.safetensors10.0 GB
• transformer/diffusion_pytorch_model-00002-of-00002.safetensors5.9 GB
• mllm/model-00001-of-00004.safetensors5.0 GB
• mllm/model-00003-of-00004.safetensors4.9 GB
• mllm/model-00002-of-00004.safetensors4.9 GB
• vae/diffusion_pytorch_model.safetensors335.3 MB
• mllm/model-00004-of-00004.safetensors180.4 MB
• mllm_processor/tokenizer.json11.4 MB
• processor/tokenizer.json11.4 MB
• assets/teaser.jpg7.2 MB
• assets/examples_subject.png5.9 MB
• assets/examples_edit.png5.7 MB
• assets/teaser.png4.4 MB
• mllm_processor/vocab.json2.8 MB
• processor/vocab.json2.8 MB
• mllm_processor/merges.txt1.7 MB
• processor/merges.txt1.7 MB
• assets/brand.png336.7 KB
• assets/efficiency.png299.8 KB
• transformer/transformer_omnigen2.py81.1 KB
• mllm/model.safetensors.index.json65.4 KB
• transformer/diffusion_pytorch_model.safetensors.index.json53.6 KB
• README.md12.8 KB
• scheduler/scheduling_flow_match_euler_discrete.py9.0 KB
• mllm_processor/tokenizer_config.json8.0 KB
• processor/tokenizer_config.json8.0 KB
• .gitattributes2.1 KB
• mllm/config.json1.5 KB
• mllm_processor/chat_template.json1.0 KB
• processor/chat_template.json1.0 KB
• vae/config.json840 B
• mllm_processor/added_tokens.json701 B
• processor/added_tokens.json701 B
• mllm_processor/special_tokens_map.json613 B
• processor/special_tokens_map.json613 B
• mllm_processor/preprocessor_config.json575 B
• processor/preprocessor_config.json575 B
• transformer/config.json494 B
• model_index.json462 B
• mllm/generation_config.json291 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הקוד, אך אין התחייבות או פירוט לגבי פרטיות הקבצים שאתם מעלים לממשק הרשת הציבורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗