OpenDalle
קוד פתוחdataautogpt3cc-by-nc-nd-4.02023-12-19
מודל תמונה שמכוון להבנת פרומפטים מורכבים במקום להתחרות על ריאליזם מוחלט. הוא מבוסס על שילוב מודלים סביב SDXL אבל סגור לחלוטין לשימוש מסחרי.
- 2.6Bפרמטרים
- 25.9 GBמשקל הקבצים
- 202הורדות בחודש
- 125לייקים
מה זה
הפרויקט הזה מנסה לפתור את הבעיה הקבועה של SDXL, חוסר היכולת להיצמד להנחיות טקסט מסובכות. היוצר לקח את מודל ה־DPO של Hugging Face ושילב אותו עם משקלים קיימים כמו Juggernaut7XL, ALBEDOXL ו־MEARGEHEAVEN. התוצאה מכוונת לסגור את הפער מול DALLE-3 בהבנה סמנטית של הטקסט, תוך ויתור מודע על מראה היפר-ריאליסטי לטובת דיוק במה שביקשתם.
המבנה עצמו יושב על גודל של 2.6 מיליארד פרמטרים. השילוב נעשה בשיטת מיזוג ייחודית של המפתח, והכרטיס מציין במפורש שהדגש הושם על תרגום נכון של תיאורים מורכבים לפרטים ויזואליים, ולא על ליטוש גרפי מושלם.
מתאים ל
- מחקר הבנת שפה בתמונות
בדיקת היכולת של ארכיטקטורת SDXL לפרש תיאורים עמוסים ורבי משתתפים ללא שימוש במנועים סגורים.
- איור וקונספט לשימוש עצמי
יצירת תמונות מורכבות בעלות אופי אמנותי או סגנון מאנגה עבור פרויקטים אישיים ותחביב.
- ניסויי מיזוג מקומיים ב־UI
הרצה מקומית ב־ComfyUI למי שרוצה לבחון שילוב מודלים עם ערכי דגימה מדויקים.
איפה זה נופל
היוצר עצמו מצהיר שהגרסה הזו לא מעודכנת וכבר יצאה לה גרסה 1.1. מעבר לכך, המודל מתמקד בדיוק סמנטי ולא מפיק תמונות ברמת פירוט וריאליזם קיצוניים, כך שאם אתם מחפשים צילומים שנראים אמיתיים לגמרי הוא כנראה יאכזב. דרישת הריצה של 60 עד 70 צעדים מאטה מאוד את קצב העבודה.
שאלות
נפוצות
האם כדאי להוריד את הגרסה הזו או לעבור לגרסה 1.1?
עדיף לעבור ישר ל־1.1. היוצר עצמו כותב בראש העמוד שהגרסה הזו ישנה ומפנה לגרסה הבאה, כך שאין סיבה טכנית להישאר עם הגרסה הראשונה אלא אם אתם משווים ביצועים היסטוריים.
אפשר לשלב את המודל הזה באפליקציה בתשלום?
לא. הרישיון אוסר מפורשות כל פעילות מסחרית, הפצה או תצוגה ציבורית ללא אישור בכתב, כך שהוא מוגבל אך ורק לניסויים פנימיים ולמחקר אישי.
איך מריצים
אתם יכולים לטעון אותו ישירות דרך ספריית diffusers בפייתון עם משתנה חצי דיוק fp16 על גבי כרטיס מסך, או להוריד קובץ safetensors יחיד לממשקים מוכרים כמו ComfyUI, AUTOMATIC1111 או InvokeAI. נפח ההורדה הכולל של המאגר מגיע ל־25.9 גיגה-בייט שמחולקים ל־36 קבצים.
לפי ההנחיות, המודל עובד הכי טוב עם דוגם DPM2 ומספר צעדים גבוה יחסית של 60 עד 70 לתוצאה מפורטת, או לפחות 35 צעדים לבדיקות מהירות. ערך ה־CFG המומלץ נע בין 7 ל־8, כך שזמן הרינדור לכל פריים יהיה ממושך למדי על חומרה ביתית ממוצעת.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("dataautogpt3/OpenDalle")
img = pipe("a photo").images[0]הקבצים
36 קבצים במאגר, 25.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- unet/diffusion_pytorch_model.safetensors10.3 GB
- OpenDalle.safetensors6.9 GB
- unet/diffusion_pytorch_model.fp16.safetensors5.1 GB
- text_encoder_2/model.safetensors2.8 GB
- text_encoder_2/model.fp16.safetensors1.4 GB
- text_encoder/model.safetensors492.3 MB
- vae/diffusion_pytorch_model.safetensors334.6 MB
- text_encoder/model.fp16.safetensors246.1 MB
- vae/diffusion_pytorch_model.fp16.safetensors167.3 MB
- tokenizer/vocab.json1.1 MB
- tokenizer_2/vocab.json1.1 MB
- ComfyUI_00497_.jpeg571.2 KB
- tokenizer/merges.txt524.6 KB
- tokenizer_2/merges.txt524.6 KB
- GBvMRyqXMAAX8jj.jpeg438.4 KB
- ComfyUI_00488_.jpeg296.2 KB
- GBuwGoJXUAA89jm.jpeg260.4 KB
- GBvPhMyWoAAp_fT.jpeg169.3 KB
- ComfyUI_00318_.jpeg158.0 KB
- ComfyUI_00284_.jpeg132.3 KB
- ComfyUI_00265_.jpeg132.0 KB
- GBvRG6FXcAEOvcG.jpeg130.3 KB
- README.md8.3 KB
- unet/config.json1.7 KB
- .gitattributes1.5 KB
- tokenizer_2/tokenizer_config.json1.1 KB
- tokenizer/tokenizer_config.json904 B
- vae/config.json607 B
- model_index.json582 B
- text_encoder_2/config.json570 B
- text_encoder/config.json560 B
- scheduler/scheduler_config.json479 B
- tokenizer/special_tokens_map.json133 B
- tokenizer_2/special_tokens_map.json121 B
- tokenizer_2/added_tokens.json67 B
- tokenizer/added_tokens.json57 B
הרישיון
הרישיון הוא cc-by-nc-nd-4.0 לצד הסכם שימוש אישי מחמיר של היוצר. אסור לעשות שום שימוש מסחרי, יש איסור הפצה לצד שלישי, ואסור לנסות להנדס לאחור את שיטת המיזוג. אם אתם בונים מוצר או פיצ'ר שמניב כסף, אי אפשר לגעת בו.