tiny-sd

מה זה

מדובר במודל ליצירת תמונות מטקסט שעבר תהליך זיקוק מתוך Realistic Vision V4.0, על בסיס תת קבוצה של מאגר LAION-art עם כיתובים משופרים באנגלית. הרעיון פה הוא לקחת ארכיטקטורה כבדה של דיפוזיה ולכווץ אותה לתוך קבצים שתופסים 1014 מגהבייט בלבד, כך שאפשר להריץ אותה בקלות עם ספריית diffusers הסטנדרטית.

המפתחים מדווחים על שיפור ביצועים שמגיע עד 80 אחוז מהירות ביחס למודלי הבסיס של SD 1.5 בבדיקות על חומרת A100. המשמעות המעשית היא חיתוך דרסטי בזמן ההמתנה לכל תמונה ובצריכת המשאבים של השרת, בזכות אימון שנעשה ברזולוציה של 512 על 512 פיקסלים עם דיוק של fp16 לאורך 125,000 צעדים.

מתאים ל

• המחשה מהירה באפליקציות

  מתאים לשרתים חלשים שצריכים לספק למשתמשים סקיצות או הדמיות מיידיות בלי להמתין שניות ארוכות.

• הרצה מקומית על מחשב אישי

  המשקל הנמוך, כגיגהבייט בודד, מאפשר בדיקות פיתוח מהירות על כרטיסי מסך בסיסיים בלי צורך בחומרת שרתים יקרה.

• עיבוד תמונות ברקע בענן

  מהירות גבוהה בעד 80 אחוז מאפשרת לחסוך זמן עיבוד ועלויות תשתית במערכות שמייצרות נפח תמונות גדול ברצף.

איפה זה נופל

המודל אומן על רזולוציה קבועה של 512 פיקסלים, כך שכל ניסיון להוציא ממנו תמונות חדות או גדולות יותר ייצור מריחות או עיוותים. בגלל שמדובר בגרסה מזוקקת ומכווצת משמעותית, כמעט תמיד יש ירידה בפרטים עדינים לעומת מודל המקור, ואיכות הפלט תלויה לחלוטין בפרומפטים באנגלית כי המאגר שעליו הוא התחנך מבוסס רק עליהם.

איך מריצים

טוענים אותו ישירות דרך DiffusionPipeline של diffusers עם הגדרת torch.float16 ושולחים פרומפט טקסטואלי רגיל. בזכות משקל של גיגהבייט בודד אין צורך במפלצות עיבוד, וכל כרטיס מסך ביתי או שרת ענן פשוט יספיקו כדי לייצר תמונות בלי לחנוק את הזיכרון.

אם אתם צריכים ייצור תמונות בנפח נמוך מאוד, עדיף להשתמש בפתרונות ענן מנוהלים. הרצה עצמית מקומית משתלמת ברגע שרוצים שליטה מלאה בתהליך, חביון מינימלי בייצור או חיסכון בעלויות תשתית תחת עומס.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("segmind/tiny-sd")
img = pipe("a photo").images[0]

הקבצים

18 קבצים במאגר, 1014 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin646.9 MB
• text_encoder/pytorch_model.bin246.2 MB
• vae/diffusion_pytorch_model.bin167.4 MB
• tokenizer/vocab.json1.1 MB
• grid_tiny.png534.8 KB
• tokenizer/merges.txt524.6 KB
• val_imgs_grid.png378.8 KB
• comparision1.png117.1 KB
• graph.png20.2 KB
• .gitattributes1.5 KB
• README.md1.5 KB
• vae/config.json759 B
• unet/config.json755 B
• tokenizer/tokenizer_config.json737 B
• text_encoder/config.json722 B
• scheduler/scheduler_config.json691 B
• model_index.json584 B
• tokenizer/special_tokens_map.json472 B

הרישיון

הרישיון הוא creativeml-openrail-m. הוא מתיר שימוש מסחרי ומאפשר להטמיע את המודל באפליקציות או שירותים, אבל מטיל מגבלות מפורשות נגד שימושים פוגעניים, הפצת מידע כוזב או הפרות חוק. אם אתם משלבים אותו במוצר שלכם, אתם מחויבים לכלול את תנאי הרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗