TextDiffuser-2
רץ בדפדפןJingyeChen22רישיון לא דווח2023-12-09
הכלי מייצר תמונות שמשלבות טקסט כתוב בצורה מדויקת לפי בקשה. הוא מתאים למי שרוצה ליצור פוסטרים או תוויות עם כיתוב ברור ולא מרוח.
- —הורדות בחודש
- 142לייקים
מה זה
מזינים תיאור של התמונה הרצויה, ומגדירים מילות מפתח שרוצים שיופיעו בתוכה עם קו מפריד ביניהן, או שנותנים למודל שפה לזהות אותן לבד. אפשר גם לפתוח קנבס קטן ולסמן ידנית איפה למקם כל מילה, להוסיף תיאור סגנון חיובי, ולבחור בין המודל הרגיל לגרסת LCM מהירה. בפלט מקבלים גלריה של תמונות, לצד תצוגה של הפרומפט המורכב ומפת הפריסה שהוכנה לטקסט.
מאחורי הקלעים רץ שילוב של מתכנן פריסה מבוסס מודל שפה עם מודל דיפוזיה ייעודי, שמבוסס על Stable Diffusion 1.5, יחד עם שימוש בספריות של FastChat ומשקלים נוספים כמו sd-pokemon-diffusers. המערכת מחלקת את העבודה לשניים, תחילה תכנון מיקום האותיות במרחב, ואז ציור התמונה המלאה דרך ה־UNet וה־VAE.
מתאים ל
- עיצוב כרזות עם מלל
יצירת פוסטרים ואיורים שבהם מילים ספציפיות צריכות להשתלב באופן טבעי כחלק מהגרפיקה.
- הטבעת כיתוב על חפצים
תכנון תמונות של מוצרים, שלטים או בולים עם טקסט ברור באנגלית במיקום מוגדר.
- בדיקת מיקומי טקסט
ניסוי בשליטה ידנית על מיקום אותיות בתוך תמונה באמצעות שרטוט גס על קנבס.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה פשוט לא עובדת וקורסת בהרצה, כך שאי אפשר להשתמש בה באתר. מעבר לכך, מודל השפה הבסיסי והרכיבים נשענים על טכנולוגיה ישנה יחסית של גרסה 1.5, שמתקשה מאוד מחוץ לאנגלית ומיועדת לכיתוב באותיות לטיניות בלבד. מי שבונה על עברית יקבל כנראה ג'יבריש או אותיות מפורקות. בנוסף, ציור המיקומים הידני מוגבל לקנבס קטן של 256 על 256 פיקסלים, מה שמקשה על דיוק עדין.
שאלות
נפוצות
האם השימוש בכלי עולה כסף?
העמוד זמין בחינם לחלוטין דרך הדפדפן. עם זאת, נכון לעכשיו הוא מציג שגיאת ריצה ולא ניתן לייצר בו תמונות.
האם אפשר להריץ את המערכת מקומית במחשב?
כן, הקוד מסתמך על מודלים ציבוריים שזמינים להורדה, כמו משקלי הפריסה והמודל המותאם של TextDiffuser-2. תצטרכו כרטיס מסך מתאים עם תמיכה ב־CUDA וסביבת פייתון מסודרת כדי להריץ את הצינור המלא.
האם הכלי תומך בכתיבה בעברית?
לא, המודלים ואסימוני הטקסט עליהם אומנה המערכת מיועדים לאנגלית. ניסיון להזין אותיות בעברית כנראה ייכשל לחלוטין בתהליך הרינדור.
איך משתמשים
בוחרים פרמטרים כמו מספר צעדים, טמפרטורה לתכנון הפריסה וכמות תמונות ליצירה בבת אחת, ולוחצים על Generate. ההרצה מוגדרת על שרת עם מעבד גרפי A10G Large, כך שיצירה עם 20 צעדים אמורה לקחת שניות בודדות, ובגרסת LCM אפילו פחות. בפועל אין צורך בהתחברות או בהזנת פרטים, אך נכון לעכשיו אי אפשר להריץ דבר בדפדפן כי העמוד נמצא במצב של שגיאת ריצה ואינו מתפקד.
הרישיון
היוצר לא פרסם רישיון שימוש בקוד או בממשק. המשמעות היא שאין הרשאה ברורה ומסודרת לשימוש מסחרי בתוצרים או בקוד, ולא ידוע מהם תנאי הפרטיות לגבי הטקסטים שמזינים בהדגמה.