small-stable-diffusion-v0

מה זה

מדובר במודל שנוצר כדי לפתור את צוואר הבקבוק של משאבים ביצירת תמונות. המפתחים לקחו את הארכיטקטורה המקורית, צמצמו את השכבות בבלוקים של רשת ה־Unet לערך של שכבה בודדת, ואימנו אותה בתהליך זיקוק ידע מול מודלי המקור במיליון ומאה אלף צעדים.

התוצאה היא משקל קבצים כולל של 4.1 גיגה בייט וגודל כמעט חצי מהמקור. לפי נתוני המפתחים, שילוב של המודל עם ספריות אופטימיזציה ייעודיות מאפשר להגיע לזמן ריצה של חמש שניות לתמונה על מעבד אינטל מסוג קסאון בעשרה צעדים בלבד. זה הופך יצירת תמונות מסבירה לאפשרית גם בלי כרטיסי מסך יקרים, אם כי על מעבדי AMD ברירת המחדל לוקחת כשלושים וחמש שניות לחמישה עשר צעדים.

מתאים ל

• שרתי אינטל ללא כרטיס מסך

  יצירת תמונות בחמש שניות על מעבד Xeon ייעודי בעזרת כלי פריסה מותאמים, בלי להחזיק כרטיס מסך יקר.

• סקיצות ראשוניות לאפליקציות

  הפקת רעיונות ואמנות כללית במהירות, במקרים שבהם לא נדרשים ריאליזם מדויק או טקסט קריא.

• מחקר על דחיסת מודלים

  בדיקת התנהגות מודלי דיפוזיה שעברו זיקוק ידע וצמצום שכבות Unet מול מודלים מלאים.

איפה זה נופל

המודל חולק את המגבלות של סביבת האימון המקורית, שכוללת דאטה מ־LAION בלי ניקוי כפילויות, ולכן יש סכנה של שינון תמונות. הוא לא מצליח לרנדר טקסט קריא בכלל, מתקשה מאוד ביצירת פנים ואנשים, ונכשל במשימות קומפוזיציה מורכבות כמו מיקום של חפץ ספציפי מעל חפץ אחר. מעבר לזה, המודל אומן בעיקר על תיאורים באנגלית. הוא לא מבין עברית כמו שצריך, והאיכות ברינדור ללא פרומפטים מדויקים באנגלית יורדת מיד.

איך מריצים

בפועל מריצים אותו דרך ספריית diffusers בגרסה 0.8.0 ומעלה, בשילוב פייטורץ' עם הגדרת float16 כדי לחסוך זיכרון עבודה. הקריאה בקוד פשוטה וטוענת ישירות את צינור העבודה המוכר של יצירת תמונות.

אם יש לכם כרטיס גרפי תומך קודה אפשר להריץ עליו מיד, אבל היתרון הגדול כאן הוא היכולת להמיר אותו באמצעות OpenVINO לריצה על מעבדי אינטל או TensorRT לכרטיסי מסך. אם אין לכם שרת עם מעבד אינטל חזק ואין לכם כרטיס מסך פנוי, עדיף להשתמש בממשק מרוחק או שירות ענן חיצוני במקום לתקוע את המחשב המקומי בחצי דקה של חישוב לכל פריים.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("OFA-Sys/small-stable-diffusion-v0")
img = pipe("a photo").images[0]

הקבצים

19 קבצים במאגר, 4.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin2.3 GB
• safety_checker/pytorch_model.bin1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• sample_images.jpg3.9 MB
• tokenizer/vocab.json1.1 MB
• sample_images_compressed.jpg750.6 KB
• tokenizer/merges.txt524.6 KB
• README.md9.5 KB
• safety_checker/config.json4.8 KB
• .gitattributes1.5 KB
• tokenizer/tokenizer_config.json836 B
• unet/config.json748 B
• vae/config.json581 B
• model_index.json560 B
• text_encoder/config.json560 B
• feature_extractor/preprocessor_config.json518 B
• tokenizer/special_tokens_map.json472 B
• scheduler/scheduler_config.json459 B

הרישיון

הרישיון הוא openrail, המאפשר שימוש במודל ובפלט שלו אבל כפוף להגבלות שימוש מחמירות. נאסר להשתמש בו להפצת תוכן פוגעני, מידע כוזב, תוכן מיני ללא הסכמה, פגיעה בזכויות יוצרים או יצירת ייצוגים משפילים של בני אדם. לשימוש מסחרי רגיל במוצר זה אפשרי, בתנאי שמוודאים עמידה בכללי השימוש האחראי הללו.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗