full-body-anime-gan

מה זה

הממשק מחולק לשלוש לשוניות עיקריות. בלשונית הראשונה מייצרים דמות אנימה אקראית באמצעות קביעת ערכי seed, רמת רעש ועוצמת truncation psi. מקבלים תמונה בודדת של דמות שלמה, בלי צורך בפרומפטים מילוליים. בלשונית השנייה מעלים תמונת אנימה קיימת, עדיף של דמות עומדת, והמערכת מזהה אותה ומקודדת אותה מחדש. יש שם גם ארבע תמונות דוגמה מובנות כדי לראות איך הקלט אמור להיראות לפני שמעלים קובץ פרטי.

בלשונית השלישית בוחרים שתי תמונות שנוצרו או קודדו קודם, ומייצרים סרטון מעבר ביניהן עם שליטה במספר הפריימים. מאחורי הקלעים הכל רץ על מודלים של ONNX מתוך המאגרים anime-seg ו־fbanime-gan של skytnt. המערכת כוללת מודל סגמנטציה שמבודד את הדמות מהרקע, גלאי ייעודי בשם waifu_dect, ומודלי מיפוי וסינתזה שמפיקים את התוצאה הסופית.

מתאים ל

• יצירת דמויות בסיס

  הפקת עיצובים ראשוניים של דמויות אנימה בגוף מלא לצורך רפרנס לאיור.

• קידוד תמונת אנימה

  העלאת איור קיים כדי שהמודל יזהה את הדמות ויבנה לה ייצוג וקטורי.

• סרטוני מעבר קצרים

  יצירת אנימציית מעבר בסיסית בין שתי דמויות שונות בחמישה פריימים לכל היותר.

איפה זה נופל

המודל מוגבל אך ורק לסגנון אנימה מובהק של דמויות שלמות. הממשק עצמו מציין שעדיף להעלות דמות עומדת בגוף מלא, כך שאם תעלו תמונת חצי גוף, תקריב פנים או אדם אמיתי, מודל הזיהוי והקידוד כנראה ייכשלו לחלוטין. יצירת הווידאו מוגבלת מאוד ומאפשרת לבחור בין שלושה לחמישה פריימים בלבד, כך שלא מדובר באנימציה חלקה אלא במעבר גס וקצר.

איך משתמשים

אין צורך בהרשמה או בחשבון כדי להשתמש בממשק. בוחרים לשונית, מכוונים את הסליידרים או מעלים תמונה, ולוחצים על כפתור ההפעלה הראשי. אם רוצים ליצור סרטון, בוחרים תחילה את שתי תמונות המקור מתוך התוצאות הקודמות בעזרת כפתורי הבחירה הייעודיים, קובעים את כמות הפריימים ולוחצים להפקה.

העיבוד מתבצע על תשתית cpu-basic פשוטה, ללא מאיץ גרפי ייעודי. זה אומר שאין כאן מהירות של כרטיס מסך חזק, וכל פעולה, במיוחד קידוד תמונה או רינדור סרטון, עשויה לקחת זמן ומחייבת קצת סבלנות.

הרישיון

הקוד והממשק מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. עם זאת, אין בממשק פירוט לגבי זכויות היוצרים על התמונות שאתם מעלים או התוצרים שנוצרים, ולכן כדאי להיזהר בשימוש מסחרי ישיר בתוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗