ldm-celebahq-256

מה זה

מדובר במודל היסטורי מבית קבוצת המחקר שפיתחה בהמשך את סטייבל דיפיוז'ן. הוא אומן על מאגר CelebA-HQ במטרה אחת בלבד, לייצר תמונות פנים בגודל 256 על 256 פיקסלים מרעש אקראי, ללא שום הנחיה טקסטואלית או תנאי מוקדם מצד המשתמש. מה שייחד אותו כשיצא היה המעבר מחישוב ישיר על מרחב הפיקסלים לעבודה בתוך מרחב לטנטי של מקודד ייעודי, גישה שחתכה משמעותית את עלויות החישוב וזמן הריצה ביחס למודלי דיפוזיה קודמים.

בפועל, הוא מייצר רק פרצופים שנראים כמו תמונות סטודיו של מפורסמים, בלי יכולת לשלוט בתווי הפנים, במין, בגיל או בסגנון. החוקרים הראו במאמר שמודלים מהסוג הזה מסוגלים לשמור על איכות ויזואלית גבוהה תוך צמצום משאבים, אך התוצר כאן מוגבל לחלוטין למשימה הצרה הזו.

מתאים ל

• מחקר על מרחב לטנטי

  הוא קל משקל ונוח לבדיקות של דגימה ותהליכי דה-נויזינג בלי להעמיס על החומרה.

• ייצור אווטארים אקראיים

  הוא מפיק תמונות פנים קטנות בגודל 256 פיקסלים כשלא נדרשת שליטה בתוצאה.

• בדיקת צינורות עבודה

  משקלו 1.2 גיגהבייט בלבד, מה שמאפשר לוודא תקינות קוד של ספריות דיפוזיה במהירות.

איפה זה נופל

הוא לא מקבל פרומפטים ולא מבין הוראות, אלא פולט תמונת פנים אקראית בלבד. הרזולוציה נעולה על 256 על 256 פיקסלים, שזה גודל קטן מאוד שלא מתאים לשימוש מודרני בלי מודל הגדלה נוסף. בנוסף, האימון על CelebA-HQ מקבע הטיות חזקות לכיוון מראה של מפורסמים ואיפור כבד, כך שאי אפשר לבנות עליו לייצור מגוון רחב של פנים.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית diffusers בפייתון עם DiffusionPipeline ומריצים הסקה. הקבצים שוקלים בסך הכול 1.2 גיגהבייט, כך שהוא יורד מהר מאוד ורץ בקלות כמעט על כל מעבד גרפי ביתי בלי להעמיס על הזיכרון, ואפילו על מעבד רגיל אם מוכנים לחכות.

בקוד הדוגמה הרשמי מוגדרים 200 צעדי הסקה, שזה מספר גבוה יחסית שגוזל זמן חישוב לכל תמונה בודדת. אין פה אפשרויות שונות של גדלים או גרסאות קלות, ומכיוון שמדובר במשקל קטן ובריצה מקומית זולה, אין שום סיבה לחפש ספק חיצוני שיריץ את זה עבורכם בתשלום.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("CompVis/ldm-celebahq-256")
img = pipe("a photo").images[0]

הקבצים

13 קבצים במאגר, 1.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin1.1 GB
• vqvae/diffusion_pytorch_model.bin221.4 MB
• images/generated_image_0.png118.8 KB
• images/generated_image_1.png117.0 KB
• images/generated_image_3.png111.0 KB
• images/generated_image_2.png91.5 KB
• README.md4.3 KB
• run.py2.2 KB
• .gitattributes1.2 KB
• unet/config.json712 B
• vqvae/config.json486 B
• scheduler/scheduler_config.json249 B
• model_index.json228 B

הרישיון

הוא מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש ללא תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. עם זאת, צריך לזכור שהנתונים שעליהם הוא אומן עשויים לכלול זכויות יוצרים על התמונות עצמן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗