ddpm-cifar10-32

מה זה

מדובר במימוש של מאמר הדיפוזיה המכונן מבית גוגל, שאומן כולו על מאגר CIFAR10. המודל מייצר תמונות קטנות בלבד, בגודל 32 על 32 פיקסלים, ללא שום הכוונה של טקסט או בחירת קטגוריה. אתם פשוט נותנים לו רעש אקראי, והוא מנקה אותו עד שמתקבלת תמונה שנראית כמו משהו מהמאגר המקורי, חיות, רכבים ודברים דומים.

במדדי האיכות של המאמר הוא הגיע לציון FID של 3.17 וציון Inception של 9.46 על CIFAR10. המספרים האלה הראו בזמנו שדיפוזיה יכולה להתחרות באיכות של רשתות GAN, אבל היום הם בעיקר נקודת ייחוס אקדמית ולא משהו שמייצר תמונות שמישות לעין אנושית במוצר אמיתי.

מתאים ל

• לימוד מנגנון דיפוזיה

  קוד קל להרצה שמדגים תהליך ניקוי רעש בסיסי בספריית diffusers.

• בדיקת תהליכי פיתוח

  מודל קל משקל שמתאים לבדיקת תקינות של צינורות עבודה מקומיים.

• השוואת אלגוריתמי תזמון

  כר פשוט להשוואת ביצועים ומהירות בין מתזמנים כמו DDPM ו־DDIM.

איפה זה נופל

הפלט מוגבל לחלוטין לגודל של 32 על 32 פיקסלים, שזה גודל של אייקון מטושטש. מעבר לכך, אין שום שליטה על מה שהמודל מייצר. אי אפשר לבקש ממנו חתול, מכונית או סגנון מסוים, והוא לא מקבל פרומפטים. אם אתם בונים מוצר שצריך תמונות חדות או נשלטות, אין לכם מה לחפש כאן.

איך מריצים

המשקל הכולל הוא 273 מגה בייט בלבד, כך שלא צריך כאן שרתים מיוחדים. אפשר להריץ אותו דרך ספריית diffusers בפייתון על מעבד רגיל של מחשב נייד, אם כי כרטיס מסך בסיסי יקצר מאוד את זמן ההמתנה.

סייקל היצירה המקורי עם המתזמן של DDPM מדויק אבל איטי למדי. הכרטיס מציין שאפשר להחליף את המתזמן לגרסאות כמו DDIM או PNDM כדי לקבל פלט מהר יותר בלי לאבד יותר מדי איכות. אין טעם לחפש API בתשלום לדבר כזה, הוא קטן מספיק כדי לרוץ מקומית בכל סביבת פיתוח.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("google/ddpm-cifar10-32")
img = pipe("a photo").images[0]

הקבצים

12 קבצים במאגר, 273 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diffusion_pytorch_model.bin143.1 MB
• diffusion_pytorch_model.safetensors143.0 MB
• README.md3.0 KB
• modeling_ddpm.py2.8 KB
• images/generated_image_0.png2.6 KB
• images/generated_image_2.png2.5 KB
• images/generated_image_1.png2.3 KB
• images/generated_image_3.png2.1 KB
• .gitattributes1.3 KB
• config.json699 B
• scheduler_config.json256 B
• model_index.json180 B

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש פעולה כמעט מלא. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗