StoryDiffusion
רץ בדפדפןYupengZhoucc-by-nc-4.02024-04-30
הכלי מייצר רצף תמונות עם דמות עקבית עבור קומיקס או סיפור חזותי. הוא מתאים ליוצרים שרוצים לבנות סצנות עלילתיות מטקסט או מתמונות פנים.
- —הורדות בחודש
- 620לייקים
מה זה
אתם מספקים תיאור טקסטואלי של הדמות, בוחרים סגנון עיצובי, וכותבים שורות פרומפט שבהן כל שורה מגדירה פריים נפרד ברצף. אם רוצים לשלוט במראה המדויק, אפשר להעלות תמונות פנים של אדם ולהשתמש במילת ההפעלה הייעודית בטקסט. הממשק פולט סדרה של תמונות ששומרות על תווי הפנים לאורך הסצנות השונות.
מאחורי הקלעים פועל מנגנון Consistent Self-Attention שפותח עבור StoryDiffusion, יחד עם מודלים כמו Stable Diffusion XL, Juggernaut XL, RealVisXL ורכיב PhotoMaker של TencentARC. הטכנולוגיה מנתחת את הקשרים בין הפריימים כדי למנוע שינויים אקראיים במראה הדמות.
מתאים ל
- יצירת קומיקס עקבי
הפקת סדרת פריימים עלילתית שבה הדמות הראשית שומרת על אותם בגדים ותווי פנים לאורך כל הסיפור.
- המחזת סטוריבורד להפקה
תרגום תסריט לסקיצות חזותיות מהירות המציגות שחקן מסוים בסיטואציות שונות.
- בניית דמות מותאמת אישית
העלאת תמונות פנים אמיתיות והכנסתן לרצף עלילתי מאויר בסגנונות גרפיים שונים.
איפה זה נופל
ההדגמה מוגבלת לעד עשרה פרומפטים ברצף אחד כדי לא להעמיס על השרת, כך שאי אפשר לייצר סיפורים ארוכים במיוחד. אם משתמשים בתמונות פנים קיימות, המערכת מחייבת תוספת תחבירית מדויקת של מילת הפעלה אחרי הגדרת הדמות, ואם שוכחים אותה התהליך נכשל בהודעת שגיאה. בנוסף, חוסר היציבות של מודלי תמונה מורכבים עדיין עלול לגרום לעיוותים באצבעות או ברקעים בין פריים לפריים.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, ההרצה בעמוד של Hugging Face פתוחה וחינמית לחלוטין. היא מתבצעת על גבי חומרת ענן שמוקצית לפרויקט ללא תשלום מצדכם.
מה קורה עם התמונות והטקסט שמעלים לממשק?
הקבצים והפרומפטים מעובדים על שרת הפרויקט לצורך יצירת התוצאות באותו הרגע. מכיוון שמדובר בהדגמה ציבורית, מומלץ לא להעלות תמונות פרטיות או רגישות.
כמה זמן לוקח לייצר רצף תמונות?
הפקת רצף לוקחת בדרך כלל בין חצי דקה לשתי דקות, כתלות במספר השורות שהזנתם. החומרה מציגה שלבי ביניים על המסך בזמן שמתבצע החישוב.
האם אפשר להריץ את הכלי על המחשב האישי?
כן, הקוד פתוח וזמין להורדה ולהתקנה מקומית. כדי להריץ אותו כמו שצריך תצטרכו כרטיס מסך חזק של אנבידיה עם מספיק זיכרון וידאו להתמודדות עם מודלי SDXL.
איך משתמשים
בוחרים מודל בסיס מתוך הרשימה, מגדירים את הדמות, מדביקים את שורות העלילה ולוחצים על כפתור ההפקה. אין צורך בחשבון כדי להריץ את הדמו בדפדפן. העיבוד רץ על מעבד גרפי A10G של חברת אנבידיה, שמציג תוצאות ביניים תוך כדי עבודה, אך יצירת סדרה מלאה של כמה פריימים מפורטים דורשת המתנה של דקה או שתיים בהתאם לעומס.
הרישיון
הקוד מופץ ברישיון cc-by-nc-4.0. המשמעות היא שאתם רשאים להשתמש בו, לשנות אותו ולשתף אותו למטרות מחקר ושימוש פרטי, אך אסור להשתמש בתוצרים או בתשתית למטרות מסחריות ורווח.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא