GPTJ6B_Poetry_LatentDiff_Illustration

מה זה

אתם מזינים מילה אחת באנגלית בתיבת הטקסט, ומקבלים שיר קצר בן כמה שורות ותמונה בריבוע של 256 על 256 פיקסלים. בדוגמאות המובנות מופיעות מילים פשוטות כמו river, night, trees, table או laughs, שנועדו להדגים את הכיוון הכללי.

מאחורי הקלעים רצים שני מודלים נפרדים לגמרי. הראשון הוא GPT-J-6B של EleutherAI, מודל שפה עם 6 מיליארד פרמטרים שיוצר את השיר לפי הנדסת פרומפט קבועה מראש. לאחר מכן, הטקסט המלא של השיר שנכתב נשלח כקלט ישיר לספייס חיצוני בשם multimodalart/latentdiffusion, והוא זה שמצייר את התוצאה הוויזואלית באמצעות Latent Diffusion.

מתאים ל

• בדיקת שרשור מודלים

  הדגמה מהירה של חיבור בין מודל שפה שמייצר טקסט לבין מודל תמונה שמקבל אותו כקלט.

• שעשוע טקסטואלי קצר

  יצירת חמשיר מהיר ומאויר מתוך מילה אחת באנגלית כדי לראות מה יוצא.

• לימוד קוד בגרדיו

  בחינת האופן שבו ממשק אחד טוען ספייס אחר באמצעות פקודת load הפשוטה.

איפה זה נופל

היוצרים עצמם מודים בקוד שלא כל השירים והאיורים יוצאים מוצלחים כשאין אפשרות לבחור ידנית את התוצאה הטובה ביותר. הטקסט המלא של השיר נזרק ישירות לפרומפט של מודל התמונה, מה שיוצר לעיתים קרובות עומס וציורים לא ברורים. מעבר לזה, המודלים ישנים יחסית, הרזולוציה מוגבלת מאוד, ועברית כנראה תניב ג׳יבריש מוחלט.

איך משתמשים

התהליך מחולק לשני שלבים נפרדים. קודם כל מקלידים מילה ולוחצים על Generate Poem כדי לקבל את הטקסט, ורק אחר כך לוחצים על Generate Image כדי לשלוח את השיר ליצירת התמונה.

כרגע הספייס נמצא במצב שינה, כך שהדף ידרוש הפעלה מחדש לפני שתוכלו לגעת בו. בנוסף, הוא מוגדר על חומרת cpu-basic בסיסית, מה שאומר שזמני התגובה יהיו איטיים, במיוחד כשהבקשה לתמונה תלויה בטעינה של ספייס מרוחק.

הרישיון

הפרויקט מפורסם תחת רישיון gpl, מה שמחייב קוד פתוח לכל נגזרת שלו. התוכן שאתם מזינים עובר לספייס חיצוני כדי לייצר את התמונה, כך שאין כאן שמירה על פרטיות מוחלטת.

הרישיון המלא ב־Hugging Face ↗