חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
S

Stable-Diffusion-3-Medium-SuperPrompt

רץ בדפדפן

Nick088other2024-06-12

  • gradio

האפליקציה מייצרת תמונות מטקסט בעזרת מודל SD3 Medium ומשפרת את התיאור שלכם בעזרת מודל טקסט ייעודי. היא מיועדת למי שרוצה פרומפטים מפורטים בלי לכתוב אותם לבד.

  • —הורדות בחודש
  • 43לייקים

מה זה

אתם מקלידים תיאור קצר בתיבת הטקסט, ומקבלים תמונות שנוצרו על בסיסו לצד התיאור המורחב שהמערכת בנתה בפועל. בברירת המחדל מסומנת האפשרות להרחבת הטקסט, כך שרעיון בסיסי של כמה מילים הופך לפרומפט ארוך ועשיר בפרטים לפני שהוא נשלח למודל התמונה.

מאחורי הקלעים פועלים שני מודלים שונים. הראשון הוא roborovski/superprompt-v1 שמבוסס על T5 ותפקידו לקחת את המשפט שלכם ולהרחיב אותו. המודל השני הוא stabilityai/stable-diffusion-3-medium-diffusers שמקבל את הטקסט המורחב ומייצר את התמונות. הממשק מכיל גם דוגמאות מובנות להרצה מהירה, ומאפשר לראות בדיוק מה המודל הראשון הוסיף לתיאור המקורי.

בהגדרות המתקדמות אפשר לשלוט במידות התמונה מ־256 עד 1344 פיקסלים, לקבוע בין 1 ל־50 צעדי יצירה, לשנות את עוצמת ההיצמדות לטקסט, להגדיר סיד קבוע, ולבחור לייצר בין תמונה אחת לארבע תמונות בכל הרצה. יש גם שדה פרומפט שלילי שמגיע כבר עם רשימת מאפיינים לא רצויים מוגדרת מראש.

מתאים ל

  • הרחבת רעיונות בסיסיים

    כותבים תיאור קצר ופשוט, ונותנים למודל השפה לבנות ממנו הנחיה ויזואלית מפורטת ועמוסה בסגנון.

  • בדיקת יכולות SD3

    בוחנים איך המודל של סטביליטי מתמודד עם תיאורים מורכבים ברזולוציה של 1024 על 1024 פיקסלים.

  • למידת ניסוח פרומפטים

    משווים בין הטקסט המקורי שלכם לפרומפט המורחב שמוצג על המסך כדי ללמוד איך לתאר סצנות טוב יותר.

איפה זה נופל

הבעיה המרכזית היא שהחלל כרגע לא עובד ונמצא במצב BUILD_ERROR. מעבר לזה, המודל שמרחיב את הטקסט עלול לקחת חופש יצירתי ולהוסיף אלמנטים שלא רציתם בכלל בסצנה.

הקוד אמנם מאפשר לבחור רזולוציות של עד 1344 פיקסלים ועד ארבע תמונות במקביל, אבל שילוב כזה תחת חומרת ברירת המחדל עלול לגרום לקריסות זיכרון או להאטה משמעותית.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

הגישה לחלל הזה היא בחינם ואינה דורשת תשלום על זמן הריצה. עם זאת, בגלל שהדף נמצא כרגע בשגיאת בנייה, אי אפשר להשתמש בו בפועל עד שהוא יתוקן. אם הוא יחזור לפעול, השימוש בו לא אמור לעלות כסף.

במה הדף הזה שונה מהרצת SD3 רגילה?

כאן יש שלב מקדים שבו מודל טקסט בשם SuperPrompt מרחיב את הבקשה שלכם לפני שהיא מגיעה למחולל התמונות. ב־SD3 רגיל אתם מקבלים רק את מה שכתבתם בעצמכם. התוספת הזו מיועדת לייצר תוצאות עשירות יותר מתיאורים קצרים.

האם אפשר להריץ את זה על המחשב בבית?

הקוד משתמש בספריות סטנדרטיות של transformers ו־diffusers הזמינות להורדה חופשית. תצטרכו כרטיס מסך חזק שמסוגל להחזיק בזיכרון גם את המודל של T5 וגם את SD3 בו זמנית. בנוסף תצטרכו לאשר את תנאי השימוש של SD3 ב־Hugging Face.

איך משתמשים

כדי להתחיל כותבים תיאור, משאירים את תיבת ההרחבה מסומנת ולוחצים על כפתור Run. הממשק מוגדר לרוץ על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה, מה שאמור לספק יצירה מהירה יחסית של תמונות ברזולוציית 1024 על 1024.

בפועל המצב הנוכחי של הדף מוגדר כשגיאת בנייה, כך שכרגע אי אפשר ללחוץ ולייצר תמונות ישירות בדפדפן עד שהיוצר יתקן את הקוד או את ההגדרות.

הרישיון

הרישיון מוגדר כ־other, כלומר רישיון מותאם אישית שאינו קוד פתוח סטנדרטי. המודל Stable Diffusion 3 Medium מגיע עם תנאי שימוש והגבלות מסחריות של חברת Stability AI, ולכן חובה לבדוק את תנאי המודלים עצמם לפני כל שימוש בתוצרים.

הרישיון המלא ב־Hugging Face ↗