jbilcke-hf/ai-comic-factory
רץ בדפדפןjbilcke-hfרישיון לא דווח2023-08-25
הכלי מייצר רצועות קומיקס שלמות עם עלילה ופאנלים מתוך תיאור טקסטואלי קצר. מתאים למי שרוצה ליצור סיפורים מאוירים בלי לצייר בעצמו.
- —הורדות בחודש
- 11,244לייקים
מה זה
אתם מקלידים תיאור קצר של העלילה, ומקבלים דף קומיקס מחולק לפאנלים שכולל איורים וטקסט. הממשק לוקח את הרעיון שלכם, מפרק אותו לסצנות בודדות, ומייצר תמונה ייעודית עבור כל ריבוע ברצועה.
מאחורי הקלעים פועלים שני מנועים נפרדים שמחוברים יחד. מודל שפה, כברירת מחדל zephyr-7b-beta דרך נקודת קצה ייעודית, כותב את התסריט ואת ההנחיות לכל פאנל בפורמט נתונים מובנה. מנוע יצירת התמונות מתבסס על Stable Diffusion XL, בין אם דרך שרת פנימי בשם VideoChain ובין אם דרך ממשקי API חיצוניים, ומרכיב את התוצאה החזותית לפי הסגנון שנבחר.
מתאים ל
- יצירת קומיקס מתיאור קצר
מזינים רעיון בסיסי בעברית או באנגלית ומקבלים דף קומיקס שלם שמחולק לפאנלים מאוירים.
- בניית לוחות עלילה לפרויקט
ממחישים סצנות ורעיונות ויזואליים במהירות לפני הפקה של סרטון או פרסומת.
- בסיס למערכת קומיקס עצמאית
מתכנתים יכולים לקחת את הקוד, לחבר מנועי תמונה ו־LLM שונים, ולהרים שרת פרטי משלהם.
איפה זה נופל
אם חשבתם לשכפל את המרחב ולהריץ אותו בלחיצה אחת, זה לא יעבוד. מדובר במערכת מבוזרת שדורשת הגדרת משתני סביבה, חיבור למודל שפה חיצוני והרמת שרת נפרד לרינדור התמונות. בנוסף, מודל השפה חייב לדעת לייצר מבנה JSON תקין. דגמים קטנים עלולים להיכשל בפירוק הסיפור לפאנלים ולשבור את התצוגה.
שאלות
נפוצות
האם השימוש באפליקציה בחינם?
כן, השימוש בגרסה הציבורית שרצה באתר פתוח לכולם. היוצר מאפשר להשאיר טיפ וולונטרי למי שרוצה לתמוך בהמשך הפיתוח.
האם אפשר להריץ את כל המערכת במחשב האישי?
לא בקלות. הפרויקט אינו מקשה אחת אלא דורש קישור למספר מנועים שונים, הגדרת משתני סביבה בקובץ מקומי, והרמת ממשקי API נפרדים עבור מודל השפה ומודל התמונות.
באילו מודלים אפשר להשתמש מאחורי הקלעים?
הקוד תומך בחיבור למודלים של OpenAI כמו gpt-4-turbo, מודלים דרך Groq, קלוד של Anthropic, או מודלי קוד פתוח דרך Hugging Face. עבור התמונות ברירת המחדל מבוססת על Stable Diffusion XL.
איך משתמשים
נכנסים לממשק בדפדפן, מקלידים הנחיה בתיבת הטקסט ולוחצים על כפתור היצירה. אין צורך בהרשמה או בהזנת מפתח כדי להתנסות בגרסה הציבורית. המרחב עצמו רץ על מעבד בסיסי, cpu-basic, מפני שהחישוב הכבד של המודלים נעשה דרך קריאות רשת למנועים מרוחקים. זמן ההמתנה מושפע ישירות מעומס הפניות לשרתי הרינדור וליצירת התמונות ב־SDXL.
הרישיון
הרישיון של המרחב לא דווח. למרות שהקוד פתוח לעיון בגיטהאב ובמרחבי הפיתוח, העדר רישיון מוגדר משאיר בערפל את הזכויות המסחריות על הקוד והתמונות שנוצרות בו.