ldm-super-resolution-4x-openimages

מה זה

מדובר במודל שמשחזר ומגדיל תמונות פי ארבעה על בסיס ארכיטקטורת Latent Diffusion Models שאומנה על מאגר OpenImages. הרעיון המרכזי כאן הוא ביצוע תהליך הסרת הרעש בתוך מרחב ייצוג דחוס של אוטואנקודר שהוקפא מראש, ולא ישירות על מרחב הפיקסלים הגולמי. הגישה הזו חותכת את כוח החישוב הנדרש בהשוואה למודלי דיפוזיה רגילים, ועדיין מצליחה להוסיף פרטים משכנעים לתמונה המוגדלת.

הכרטיס מציג ארכיטקטורה שכוללת שכבות cross-attention ומאפשרת פעולה בצורה קונבולוציונית כדי להגיע לרזולוציות גבוהות. בניגוד לשיטות אינטרפולציה קלאסיות שרק מטשטשות או מנחשות מעברים חלקים, המודל מסנתז טקסטורות יש מאין על סמך מה שלמד על תמונות כלליות.

מתאים ל

• שחזור תמונות ישנות

  הגדלת תמונות מטושטשות פי ארבעה תוך סינתזה של פרטים חסרים.

• הכנת תמונות לדפוס

  העלאת רזולוציה לקבצים שצריכים להיראות חדים בגודל מלא.

• הגדלת תוצרי מודלי תמונה

  השבחת פלטים של מודלי מחוללי תמונות שנוצרו ברזולוציה נמוכה.

איפה זה נופל

מודלי דיפוזיה נוטים להמציא פרטים שלא היו קיימים במקור, מה שיכול לייצר עיוותים לא נעימים בטקסטים קטנים, במסמכים או בתווי פנים עדינים. האימון נעשה על OpenImages, כך שהוא מכיר היטב אובייקטים וסצנות מהעולם האמיתי, אבל עלול לזייף באיורים, בצילומי מסך או בדיאגרמות טכניות. יש לבדוק היטב אם ההזיות הגרפיות שלו מקובלות על המוצר שלכם לפני שמעבירים דרכו תמונות קריטיות.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.3 גיגה בייט בפורמט שמתאים ישירות לספריית diffusers של פייתון. מדובר בגודל נוח שלא דורש כרטיס מסך מפלצתי, וכל מעבד גרפי מודרני עם זיכרון צנוע יטען אותו בלי מאמץ.

אם אתם צריכים להגדיל אלפי תמונות ביום בזמן אמת, כדאי לקחת בחשבון שפעולת דיפוזיה איטרטיבית עדיין אטית משמעותית מרשתות קונבולוציה פשוטות כמו ESRGAN. במקרה של שירות שדורש שיהוי אפסי, פתרון מבוסס תשתית חיצונית יכול לחסוך תחזוקה.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("CompVis/ldm-super-resolution-4x-openimages")
img = pipe("a photo").images[0]

הקבצים

12 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin454.6 MB
• unet/diffusion_pytorch_model.fp16.bin227.4 MB
• unet/diffusion_pytorch_model.fp16.safetensors227.3 MB
• vqvae/diffusion_pytorch_model.bin221.4 MB
• vqvae/diffusion_pytorch_model.fp16.bin110.7 MB
• vqvae/diffusion_pytorch_model.fp16.safetensors110.7 MB
• README.md2.8 KB
• .gitattributes1.5 KB
• unet/config.json873 B
• vqvae/config.json713 B
• scheduler/scheduler_config.json286 B
• model_index.json248 B

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש כמעט מוחלט. מותר להשתמש בו במוצרים מסחריים, לשנות את הקוד ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗