makem/ai-comic-factory
רץ בדפדפןmakemרישיון לא דווח2023-11-21
מייצר רצועות קומיקס שלמות על בסיס הנחיות טקסט, ומיועד למי שרוצה להפיק סיפור חזותי בלי לצייר בעצמו. המערך מחבר בין מודל שפה שכותב את התסריט למודל תמונה שיוצר את הפאנלים.
- —הורדות בחודש
- 145לייקים
מה זה
אתם מזינים רעיון לסיפור, והמערכת מפרקת אותו לפריימים ובונה קומיקס שלם. התהליך מורכב משני שלבים שונים לגמרי שרצים ברקע. תחילה מודל שפה מקבל את הטקסט שלכם, מתכנן את רצף העלילה ומייצר תיאורים מפורטים לכל פריים בפורמט מובנה. לאחר מכן, מנוע יצירת תמונות מעבד כל תיאור בנפרד ומחזיר את הגרפיקה שמשובצת בתוך הפריסה של הקומיקס.
מתחת למכסה המנוע יש גמישות מסוימת בהגדרות. בצד הטקסט המערך תומך במודלים ממשפחת Llama דרך נקודות קצה של הגרעין, כמו Llama-2 70b או CodeLlama, וגם בחיבור ישיר למודלים כמו GPT-3.5 דרך מפתח של OpenAI. בצד הגרפיקה התשתית נשענת על מודלי יצירת תמונה, כשרכיב ברירת המחדל עובד מול Stable Diffusion XL דרך שירותים כמו Replicate או מעטפת ייעודית בשם VideoChain.
מתאים ל
- יצירת קומיקס קצר
הפקת רצועת קומיקס פשוטה מרעיון כללי בלבד, לחלוקה מהירה ברשת או להמחשת רעיון.
- בניית סטוריבורד
המחשה חזותית ראשונית לרצף סצנות מתוך תסריט, לפני שעוברים להפקה מורכבת.
- הדגמת חיבור מודלים
בחינת האופן שבו מודל שפה ומודל תמונה מתקשרים יחד ליצירת תוצר מרובה שלבים.
איפה זה נופל
זה לא עותק עצמאי שאפשר פשוט לשכפל ולהפעיל בלחיצה אחת בלי לגעת בקוד או בהגדרות. אם תנסו להריץ אותו בעצמכם תגלו שהוא תלוי בהגדרת משתני סביבה מרובים ובמפתחות גישה לשירותים צד שלישי כמו Replicate או OpenAI, שאינם מגיעים מובנים בחבילה.
בנוסף, מודל השפה חייב לדעת לייצר מבנה נתונים תקין, ולכן מודלים קטנים יותר מועדים לקריסות ולשגיאות פענוח בזמן יצירת הסיפור. גם החיבור בין הפאנלים עלול לאכזב, כי מודל התמונות מייצר כל פריים בנפרד ולא תמיד שומר על עקביות מלאה בדמויות בין תמונה לתמונה.
שאלות
נפוצות
האם זה חינם לשימוש?
הגישה לממשק באתר אינה עולה כסף, אבל הפעלה עצמאית של הפרויקט דורשת מפתחות גישה בתשלום לשירותים חיצוניים. כדי שהיצירה תעבוד מקומית או בשכפול פרטי, תצטרכו לשלם על צריכת המשאבים של מודל השפה ומנוע הרינדור.
כמה זמן לוקח לייצר קומיקס?
התהליך אינו מיידי ויכול לקחת בין עשרות שניות לכמה דקות. המערכת מחכה קודם כל לתגובה ממודל השפה שמפרק את הסיפור, ולאחר מכן שולחת בקשות רינדור נפרדות עבור כל פאנל ופאנל בקומיקס.
האם אפשר להריץ את זה מקומית?
אפשר להריץ את הקוד על המחשב כי המבנה פתוח ומבוסס דוקר, אבל זה דורש ידע טכני. תצטרכו להגדיר קובץ סביבה מקומי, להזין מפתחות גישה לשירותי ענן, או להקים שרתי מודלים עצמאיים כמו TGI במחשב שלכם.
האם האתר שומר את הסיפורים שלי?
קוד הפרויקט מכיל משתני סביבה שקשורים לשיתוף קהילתי באפליקציות רשמיות, אך הם מוגדרים כאופציונליים. היות שהמערכת מעבירה את הטקסט למודלים חיצוניים כמו OpenAI או שרתי תמונות, המידע שלכם מועבר לאותם ספקים בהתאם לתנאים שלהם.
איך משתמשים
כשפותחים את העמוד בדפדפן מזינים תיאור של הסיפור שרוצים לייצר ובוחרים סגנון או מבנה אם הממשק מאפשר זאת, ואז שולחים את הבקשה לעיבוד. ההרצה הזו דורשת זמן, כי היא לא מייצרת תמונה בודדת אלא מפעילה שאילתה למודל שפה ולאחר מכן מספר קריאות שונות למודל התמונות עבור כל פאנל בנפרד.
המרחב הנוכחי מוגדר על חומרת מעבד בסיסית, מה שאומר שהוא משמש בעיקר כממשק ומתווך. העבודה הכבדה של החישוב והציור נשענת על מפתחות גישה ושרתי עיבוד חיצוניים שמוגדרים בקובצי הסביבה. אם שרתי הרינדור החיצוניים עמוסים או איטיים, תמתינו לא מעט עד שכל הדף ייטען במלואו.
הרישיון
הרישיון של המרחב עצמו לא דווח בעמוד. המשמעות היא שאין הרשאה ברורה וכתובה לשימוש מסחרי או להפצה מחדש של הקוד הספציפי הזה. מודלי הקצה שבהם משתמשים, כמו SDXL או Llama, כפופים כל אחד לתנאי הרישיון המקוריים שלו.