GPT
O

Omost

רץ בדפדפן

lllyasvielapache-2.02024-05-30

  • gradio

הופך בקשות טקסט פשוטות לקוד שבונה קומפוזיציה ומייצר ממנו תמונה מורכבת. מתאים למי שצריך שליטה מדויקת במיקום של אובייקטים בתוך פריים.

  • הורדות בחודש
  • 754לייקים

מה זה

אתם מתכתבים בצ'אט ומתארים סצנה, ומודל שפה מתרגם את התיאור לקוד שמגדיר מיקומים מדויקים של אובייקטים על גבי קנבס וירטואלי. לאחר שהקומפוזיציה נבנית, מודל תמונה לוקח את החלוקה הזו ומפיק ממנה תמונה מוכנה ברוחב ובגובה שבחרתם.

מתחת למכסה המנוע רצים מודלי שפה כמו Llama 3 או Phi 3 מותאמים לצד מודלי תמונה מבוססי SDXL, ביניהם גרסת הבסיס ודגם RealVisXL. המערכת כוללת תמיכה מובנית בשיפור חדות, סינון תוכן שלילי מוגדר מראש, ואפשרויות כוונון ידניות למידות התמונה ולמספר הצעדים ברינדור.

מתאים ל

  • קומפוזיציה מרובת דמויות

    הצבת מספר דמויות במקומות מוגדרים מראש בפריים בלי שהן יתמזגו זו בזו.

  • איור סצנות מורכבות

    בניית רקע מפורט עם חפצים שממוקמים בדיוק באזורים שנקבעו מראש.

  • דיוק בהנחיות עיצוב

    שימוש במודל שפה שממיר טקסט לקוד חלוקה גיאומטרי לפני הפקת התמונה.

איפה זה נופל

ההפקה לא מתבצעת ברגע אחד, אלא דורשת שני שלבים נפרדים של כתיבת קוד ולאחריו רינדור ידני. אם מודל השפה טועה בהבנת הקומפוזיציה או מציב אלמנטים בצורה עקומה על הקנבס, מודל התמונה ייצר תמונה שגויה בדיוק לפי ההוראות האלה. בנוסף, בחירה ברינדור של מספר דגימות במקביל או שימוש במנגנון שיפור הרזולוציה יאריכו משמעותית את זמן העיבוד על השרת החינמי.

שאלות
נפוצות

האם השימוש בהדגמה עולה כסף?

הגישה דרך הדפדפן פתוחה בחינם לכל משתמש. אין צורך לשלם או להזין פרטי אשראי כדי לנסות את היכולות. אם קיים עומס על השרתים הציבוריים, ייתכן שתצטרכו להמתין בתור עד שיתפנה מאיץ גרפי.

כמה זמן לוקח לייצר תמונה אחת?

התהליך מחולק לשניים ולוקח בדרך כלל בין חצי דקה לדקה שלמה. תחילה מודל השפה כותב את קוד המיקומים, ולאחר מכן לחיצה על כפתור הייצור מפעילה את מודל התמונה. הגדלת כמות הצעדים או הפעלת שיפור הרזולוציה יוסיפו עוד זמן לתהליך.

האם אפשר להריץ את זה על המחשב בבית?

כן, הקוד פתוח וזמין בגיטהאב להרצה מקומית. כדי להריץ את המערכת בצורה חלקה תצטרכו כרטיס מסך עם לפחות 8GB זיכרון ייעודי. התקנה כזו מאפשרת לעבוד בלי תורים ובלי תלות בשרתים חיצוניים.

מה קורה עם הטקסט והתמונות שנוצרים שם?

השיחה והתמונות מעובדים על גבי שרתי הענן שמריצים את ההדגמה. מומלץ לא להזין תיאורים רגישים או פרטיים בזמן השימוש. התוצרים שמופקים אינם נשמרים לכם בחשבון פרטי ונמחקים בסגירת העמוד.

איך משתמשים

נכנסים לממשק ומתחילים שיחה בחלון הצ'אט עם תיאור הסצנה שרוצים לייצר. לאחר שהמודל מסיים לכתוב את הקוד של הקומפוזיציה, לוחצים על כפתור הרינדור כדי להפיק את התמונה בפועל. השרת פועל על מאיץ A10G שמוקצה לפי דרישה, כך שזמן ההמתנה תלוי בעומס המשתמשים באותו רגע ובמורכבות שלבי הדגימה שבחרתם.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינויים בקוד. לגבי התמונות שנוצרות, הבעלות עליהן תלויה במדיניות השימוש של מודלי התשתית הבסיסיים כמו Llama 3 ו־SDXL.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗