text2img-latent-diffusion

מה זה

אתם מקלידים תיאור טקסטואלי חופשי באנגלית ומקבלים תמונה יחידה בריבוע של 256 על 256 פיקסלים. כברירת מחדל הממשק מציע תיאור של ציור גיר של למה עם כובע קוסם, כך שאפשר לראות מיד לאיזה סגנון המערכת מכוונת עוד לפני שמקלידים משהו משלכם.

מאחורי הקלעים רץ המודל ldm-text2im-large-256 של CompVis באמצעות מעטפת LDMTextToImagePipeline של diffusers. המודל עובד במרחב הלטנטי כדי לחסוך חישובים, ומאפשר לשלוט במספר צעדי הדגימה בין 1 ל־100, בסולם ההכוונה שקובע עד כמה התמונה תיצמד לטקסט מ־1.0 עד 20.0, ובסיד מספרי לשחזור תוצאות.

מתאים ל

• בדיקת קוד diffusers

  העתקת דוגמת הקוד של צינור LDMTextToImagePipeline כדי להבין את תחביר הספרייה.

• ניסוי בהשפעת guidance

  בדיקה של השפעת משקל ההכוונה על היצמדות התמונה לתיאור הטקסטואלי.

• הרצה מקומית של LDM

  לקיחת הקוד מהקובץ כדי להריץ את המודל ldm-text2im-large-256 על מחשב משלכם.

איפה זה נופל

החיסרון המיידי הוא שהממשק פשוט שבור כרגע עם שגיאת ריצה, כך שאי אפשר להשתמש בו. מעבר לזה, המודל מייצר רק תמונות זעירות בגודל 256 על 256, רזולוציה נמוכה מאוד שלא מתאימה לשימוש גרפי אמיתי.

היוצרים עצמם כותבים בתיאור שהמטרה היא רק להציג את ספריית diffusers, ומפנים למרחב אחר אם מחפשים ביצועים מתקדמים של ממש.

איך משתמשים

במצב הנוכחי אי אפשר לייצר תמונה, כי האפליקציה נמצאת במצב שגיאת ריצה. כשהיא עובדת, אתם כותבים טקסט, גוררים את מחווני הצעדים וההכוונה, ולוחצים על כפתור ההפעלה הרגיל של גרדיו בלי צורך בהרשמה.

הקוד הוגדר לרוץ על מעבד גרפי t4-small, חומרה צנועה שאמורה לספק תמונה קטנה של 256 פיקסלים בתוך כמה שניות בודדות בהגדרה של 50 צעדים, אבל כרגע אין אפשרות להריץ אותה בדפדפן בכלל.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. לגבי התמונות שנוצרות או הטקסט שמזינים, הרישיון לא מפרט תנאים נוספים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗