Fucius/OMG
רץ בדפדפןFuciusapache-2.02024-03-16
הכלי מייצר תמונות המשלבות מספר דמויות מוגדרות מראש תוך טיפול בחסימות הדדיות ביניהן. הוא מיועד למי שרוצה לשלב דמויות ספציפיות בסצנה מורכבת על בסיס הנחיה טקסטואלית ותנאי מרחב.
- —הורדות בחודש
- 39לייקים
מה זה
אתם בוחרים דמויות מתוך תפריטים מוכנים, למשל כריס אוונס או טיילור סוויפט, מגדירים רזולוציה וסגנון, ומזינים תיאור טקסטואלי כללי לצד הנחיות נפרדות לכל דמות. בנוסף, אפשר להעלות תמונת מקור שתשמש כתנאי מרחבי עבור המבנה והתנוחה בסצנה.
מאחורי הקלעים רץ שרשור כבד של מודלים. הבסיס נשען על Stable Diffusion XL עם LoRA מותאם, יחד עם ControlNet לניתוח קווי מתאר, עומק ותנוחות גוף דרך OpenPose. כדי למקם את הדמויות במרחב בצורה מדויקת, הקוד משלב זיהוי ופילוח באמצעות GroundingDINO, מודל YOLO-World ו־EfficientViT SAM, לצד הערכת עומק באמצעות DPT.
התוצר הסופי מציג את התמונה שנוצרה לצד תמונת תנאי המרחב ששימשה לעיבוד. בממשק יש תבניות מוכנות של דמויות גברים ונשים, שנועדו לאפשר הדגמה מהירה של שילוב דמויות מרובות באותו פריים.
מתאים ל
- שילוב דמויות מוכרות בסצנה
יצירת תמונות שבהן שתי דמויות מהרשימה המובנית מופיעות יחד תוך התחשבות בחסימה ביניהן.
- יצירה מונחית תנוחה
שימוש בתמונת מקור כדי להכתיב את הפוזיציה המדויקת של הדמויות באמצעות ControlNet ו־OpenPose.
- בדיקת שילוב מודלים
בחינת האופן שבו פילוח מבוסס SAM ו־YOLO מתחבר להנחיות טקסט מקומיות ב־SDXL.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה נמצאת במצב שגיאת הגדרה, כך שאי אפשר להריץ אותה בדפדפן כרגע. מעבר לכך, הממשק לא מאפשר לכם להעלות דמויות משלכם לאימון במקום, אלא כובל אתכם למאגר הדמויות והסגנונות שהוגדרו מראש בקוד. השרשור של מודלים רבים כל כך דורש תיאום רגיש, וכאשר אחד מחלקי הזיהוי או הפילוח מפספס, התוצאה הסופית תסבול מעיוותים בחיבור בין הדמויות.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
הגישה לממשק באתר היא ללא תשלום ואינה דורשת מנוי. עם זאת, כרגע הדף מושבת בגלל שגיאת קונפיגורציה, כך שאי אפשר להשתמש בו ישירות.
האם אפשר להעלות דמות של עצמי?
לא דרך הממשק הזה. האפליקציה בנויה עם תפריט סגור של שמות וקבצי LoRA מוגדרים מראש, כך שאי אפשר לאמן או להעלות דמויות חדשות מבחוץ.
האם ניתן להריץ את הכלי מקומית?
כן, הקוד זמין תחת רישיון פתוח וניתן להורדה. תצטרכו להוריד את כל משקלי המודלים שמופיעים בו, כולל מודלי הבסיס והפילוח, ולהחזיק חומרת מחשב עם זיכרון גרפי משמעותי כדי להריץ את השרשור הזה.
מה קורה עם התמונות שמעלים למערכת?
התמונות שאתם מעלים משמשות לעיבוד המרחבי על גבי השרת המריץ את המופע. בגלל שהקוד רץ במרחב ציבורי, עדיף לא להעלות קבצים רגישים או פרטיים.
איך משתמשים
בפועל בוחרים את הדמויות והסגנון מהרשימות, כותבים את ההנחיות בתיבות הטקסט, ומקליקים על כפתור השליחה. בהגדרות המתקדמות אפשר לכוון סיד מספרי או לבחור בערך אקראי, וכן להזין הנחיה שלילית להסרת אלמנטים לא רצויים. המערכת מוגדרת לרוץ על מעבד גרפי מסוג zero-a10g, מה שאמור לספק תוצאות תוך עשרות שניות בודדות. עם זאת, נכון לעכשיו מוגדר סטטוס תקלת קונפיגורציה שמונע את הפעלת הדף כולו.
הרישיון
הפרויקט פורסם תחת רישיון apache-2.0. הרישיון מאפשר שימוש חופשי בקוד, שינוי שלו והפצה, כולל שימוש מסחרי, כל עוד שומרים על הודעות זכויות היוצרים המקוריות. זכויות התוכן הנוצר והתמונות שמעלים תלויות גם ברישיונות של מודלי הבסיס שנטענים ברקע.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים