Anything_to_Real_Characters_2511
קוד פתוחWarmBloodAbanapache-2.02026-01-09
מתאם משקל קל שלוקח איורי אנימה והופך אותם לצילומים ריאליסטיים. הוא נבנה עבור מודל העריכה של קוון ושומר על תווי הפנים וההבעה המקורית.
- 339 MBמשקל הקבצים
- 1,293הורדות בחודש
- 41לייקים
מה זה
מדובר בקובץ לורה במשקל של 339 מגה בייט בלבד, שמתלבש על מודל הבסיס של קוון לעריכת תמונות בגרסת עשרים וחמש אחד עשרה. המטרה שלו מוגדרת וצרה מאוד, להמיר ציורים, סקיצות ודמויות אנימה מעוצבות לתמונות שנראות כמו צילום אמיתי של בן אדם חי. האימון כאן התבצע על דאטה סט קטן וממוקד של מאה ושלושה זוגות תמונות בסך הכל, שהם מאתיים ושש תמונות, לאורך שלושים אלף ותשע מאות צעדים.
העדכון הנוכחי שיפר את יציבות מבנה הפנים, את שימור ההבעה המקורית, את מרקם העור וגם את הרקע, שבגרסאות קודמות נטה להיראות מצויר או מלאכותי מדי. ההבדל המרכזי מול שימוש רגיל במודל עריכה רחב הוא המיקוד. במקום להיאבק בפרומפטים ארוכים כדי להסביר למודל איך לייצר עור אמיתי ולשמור על מראה הדמות, המתאם הזה מתוכנת מראש לעשות את המעבר הזה בדיוק בעזרת ביטוי הפעלה קבוע.
מתאים ל
- המחשת דמויות אנימה בריאליזם
הופך עיצובי דמויות מצוירות לצילום שמציג איך הן היו נראות במציאות.
- קונספט לסרטי לייב אקשן
בדיקת כיווני ליהוק ומראה כללי של גיבורים מאוירים לפני שלבי הפקה יקרים.
- שיפור מרקמי עור באיורים
הוספת טקסטורה מציאותית של נקבוביות וגווני עור לסקיצות דיגיטליות קיימות.
איפה זה נופל
האימון התבסס על מאה ושלושה זוגות תמונות בלבד, שזה מאגר זעיר. בגלל המדגם הקטן, דמויות עם אנטומיה מוגזמת של אנימה נוטות להסתבך, ולכן היוצר מציין מראש שצריך להוסיף פרומפטים ידניים כדי לתקן פרופורציות גוף או למנוע בלבול בזיהוי המגדר. אם תנסו להמיר איורים של דמויות שחורגות מהמבנה הרגיל שהמודל ראה, תצטרכו לעשות הרבה ניסוי וטעייה בהנחיות הטקסט.
שאלות
נפוצות
האם המודל יכול לרוץ לבד כקובץ עצמאי?
לא. מדובר במשקלי לורה בלבד, ולכן חייבים לטעון אותם יחד עם מודל הבסיס של קוון לעריכת תמונות כדי לעבוד.
איך גורמים לו להמיר את התמונה נכון?
חייבים להכניס בפרומפט את ביטוי ההפעלה המדויק, ולהשתמש בערך סי אף ג'י של ארבע לצד שלושים צעדי דגימה לפי המלצת המפתח.
איך מריצים
את המתאם הזה מריצים מעל מודל הבסיס של קוון לעריכת תמונות באמצעות ספריית דיפיוזרס בפייתון. קבצי הלורה עצמם שוקלים 339 מגה בייט, אבל הם לא עובדים לבד ודורשים את מודל הבסיס בפורמט בי אף שש עשרה. בגלל הדרישה הזו, תצטרכו כרטיס מסך חזק עם זיכרון וידאו מכובד כדי לעבד את התמונות מקומית בלי לקבל שגיאות זיכרון.
היוצר ממליץ על הגדרות עבודה מדויקות שכוללות שלושים צעדי דגימה וערך סי אף ג'י של ארבע. מי שאין לו חומרה מתאימה יכול לבדוק את התוצאות קודם דרך הדגמת הרשת באתר ראנינג האב, במקום להוריד משקלים כבדים למחשב רק כדי לבדוק התאמה לפרויקט.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("WarmBloodAban/Anything_to_Real_Characters_2511")
img = pipe("a photo").images[0]הקבצים
4 קבצים במאגר, 339 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את הקבצים ולהטמיע אותם במוצר שלכם, כל עוד שומרים על תנאי הרישיון המקוריים ונותנים קרדיט.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים