OpenDalleV1.1

מה זה

מדובר במודל טקסט לתמונה המבוסס על מיזוג וכוונון של סטייבל דיפיוז'ן, עם כ־2.6 מיליארד פרמטרים. היוצר שלו מכוון אותו ישירות למשבצת שבין SDXL לבין DALL-E 3 של OpenAI, עם דגש על היצמדות מדויקת להוראות הטקסטואליות וסגנון אמנותי משופר לעומת מודל הבסיס.

ההורדה כבדה מאוד ושוקלת כמעט 26 ג'יגה בייט על פני עשרות קבצים. היוצר עצמו כבר מציין בעמוד שיש לו גרסה חדשה וטובה יותר בשם ProteusV0.2, כך שמי שבוחר לעבוד דווקא עם OpenDalleV1.1 צריך לקחת בחשבון שמדובר בשלב ביניים בפיתוח של המפתח ולא בגרסה הסופית ביותר שלו.

מתאים ל

• מחקר והשוואת מיזוגים

  מתאים לבדיקה אקדמית של טכניקות מיזוג מודלים מקומיים שמנסים לעקוף את ביצועי SDXL.

• יצירה אישית ותחביב

  מיועד למי שמריץ מקומית על כרטיס חזק ורוצה להפיק תמונות אומנותיות לשימוש עצמי בלבד.

• ניסויי ציות לפרומפטים

  טוב לבחינת הנחיות טקסט מורכבות תחת דוגם DPM2 בטווח של 60 עד 70 צעדים.

איפה זה נופל

החיסרון הברור ביותר הוא שהיוצר עצמו מצהיר שהמודל אינו הגרסה הטובה ביותר שלו ומפנה לפרויקט חדש יותר, כך שאין טעם לצפות לעדכונים או לתיקוני באגים פה. בנוסף, המודל אינו מציג מדדי ביצועים כמותיים או מבחני השוואה רשמיים, אלא רק הבטחות כלליות לשיפור בסגנון ובדיוק, מה שמחייב אתכם לבדוק בעצמכם אם הוא באמת עומד בציפיות לפני שמשקיעים זמן בהרצה שלו.

איך מריצים

טעינה של המודל נעשית דרך ספריית diffusers בפייתון באמצעות AutoPipelineForText2Image, ומחייבת כרטיס מסך של אנבידיה עם תמיכה ב־CUDA והרצה ב־float16. נפח הקבצים הגדול דורש נפח אחסון פנוי וכרטיס מסך עם זיכרון וידאו בריא של לפחות 16 עד 24 ג'יגה בייט כדי להחזיק את המודל ולייצר תמונות בלי קריסות זיכרון.

מבחינת הגדרות ריצה, המפתח ממליץ להשתמש בדוגם DPM2 עם סקדיולר מסוג Normal או Karras, להגדיר CFG Scale של 7 עד 8, ולכוון ל־35 צעדים לתוצאה מהירה או בין 60 ל־70 צעדים לקבלת פירוט מקסימלי. אם אין לכם חומרה ייעודית חזקה בבית או בשרת, להוריד 26 ג'יגה בייט ולחכות עשרות שניות לכל תמונה יהיה יקר ואיטי מאוד לעומת פנייה לשירותי ענן.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("dataautogpt3/OpenDalleV1.1")
img = pipe("a photo").images[0]

הקבצים

40 קבצים במאגר, 25.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.safetensors10.3 GB
• OpenDalleV1.1.safetensors6.9 GB
• unet/diffusion_pytorch_model.fp16.safetensors5.1 GB
• text_encoder_2/model.safetensors2.8 GB
• text_encoder_2/model.fp16.safetensors1.4 GB
• text_encoder/model.safetensors492.3 MB
• vae/diffusion_pytorch_model.safetensors334.6 MB
• text_encoder/model.fp16.safetensors246.1 MB
• vae/diffusion_pytorch_model.fp16.safetensors167.3 MB
• ComfyUI_01817_(1).png1.5 MB
• ComfyUI_01611_.png1.4 MB
• ComfyUI_01882_.png1.4 MB
• tokenizer/vocab.json1.1 MB
• tokenizer_2/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• tokenizer_2/merges.txt524.6 KB
• ComfyUI_01542_.jpeg208.2 KB
• ComfyUI_01517_.jpeg191.7 KB
• ComfyUI_01536_.jpeg140.3 KB
• ComfyUI_01500_.jpeg139.2 KB
• ComfyUI_01609_.jpeg138.7 KB
• ComfyUI_01501_.jpeg135.7 KB
• ComfyUI_01502_.jpeg126.2 KB
• ComfyUI_01519_.jpeg120.8 KB
• ComfyUI_01556_.jpeg116.5 KB
• ComfyUI_01528_.jpeg101.6 KB
• README.md7.4 KB
• unet/config.json1.7 KB
• .gitattributes1.7 KB
• tokenizer_2/tokenizer_config.json1.1 KB
• tokenizer/tokenizer_config.json904 B
• vae/config.json606 B
• model_index.json591 B
• text_encoder_2/config.json570 B
• text_encoder/config.json560 B
• scheduler/scheduler_config.json487 B
• tokenizer/special_tokens_map.json133 B
• tokenizer_2/special_tokens_map.json121 B
• tokenizer_2/added_tokens.json67 B
• tokenizer/added_tokens.json57 B

הרישיון

הרישיון הוא שילוב נוקשה של CC-BY-NC-ND-4.0 והסכם שימוש אישי של היוצר. אסור לעשות במודל שום שימוש מסחרי שמניב רווח או תשלום, אסור להפיץ אותו מחדש לצדדים שלישיים, ואסור לפרסם פומבית תוצרים נגזרים שלו בלי אישור מראש בכתב. למי שמפתח מוצר שמיועד למכירה או לחברה עסקית, המודל הזה פסול לחלוטין לשימוש.

הרישיון המלא בעמוד המודל ↗