wd-eva02-large-tagger-v3
קוד פתוחSmilingWolfapache-2.02024-07-28
מדובר במודל ראייה ממוחשבת לתיוג תמונות בסגנון אנימה לפי תגיות, דמויות ודירוג תוכן. אם אתם בונים מאגר או מאמנים מודל תמונה, הוא יחסוך לכם תיוג ידני.
- 315Mפרמטרים
- 3.5 GBמשקל הקבצים
- 19,513הורדות בחודש
- 213לייקים
מה זה
הארכיטקטורה כאן נשענת על EVA02-Large עם כ־315 מיליון פרמטרים, כשהמטרה היחידה היא לזהות מאפיינים בתוך תמונות ולספק רשימת תגיות מוגדרת מראש. הוא אומן על מאגר Danbooru עד לתמונות מפברואר 2024, ומחזיר שלוש קטגוריות: דירוגי בטיחות תוכן, שמות דמויות ותגיות כלליות שמתארות פרטים ויזואליים.
במבחני האימות המפתח מדווח על ציון Macro-F1 של 0.4772 בסף החלטה של כמעט 0.53. זה אומר שכדי לקבל שיווי משקל סביר בין תיוגים שגויים לפספוסים, תצטרכו לחתוך את ההסתברויות סביב האמצע, ועדיין יהיו לא מעט תגיות שיברחו או יוצגו בטעות. ההתאמה לספריית timm מקלה על החיבור לקוד קיים בהשוואה לגרסאות קודמות שנשענו בעיקר על סביבות מותאמות.
מתאים ל
- הכנת דאטה לאימון מודלי תמונה
חילוץ תגיות אוטומטי מאיורי אנימה כדי לבנות מאגר מאומת למודלים יוצרים.
- סינון ומיון תוכן לפי דירוג
סיווג מהיר של תוכן רגיש או בוגר באיורים לפי קטגוריות הדירוג המובנות.
- זיהוי דמויות במאגרים גדולים
חילוץ שמות דמויות ספציפיות מאוספי תמונות בלי לעבור עליהן אחת אחת.
איפה זה נופל
האימון התבסס אך ורק על תמונות Danbooru שסוננו מראש, כלומר תמונות עם פחות מעשר תגיות או תגיות שהופיעו פחות מ־600 פעמים פשוט נזרקו החוצה. אם תזרקו עליו תמונות מהעולם האמיתי, צילומים רגילים או סגנונות אמנות שאינם אנימה, התוצאות יהיו לא רלוונטיות. בנוסף, המפתח עצמו מדגיש שהמאגר והמודל עשויים להשתנות וקורא להסתמך על גרסאות מתויגות כדי שהקוד שלכם לא יישבר פתאום בעדכון הבא.
שאלות
נפוצות
האם אפשר להריץ את המודל על מעבד רגיל בלי כרטיס מסך ייעודי?
כן, בזכות גרסת ה־ONNX ומשקל יחסית צנוע של 315 מיליון פרמטרים, המודל יעבוד על מעבד מודרני, אך העיבוד יהיה איטי בהרבה מאשר על כרטיס מסך.
מה סף הסבירות המומלץ להצגת תגית?
לפי נתוני הבדיקה של המפתח, סף של 0.5296 מספק איזון בין דיוק לכיסוי, כך שמומלץ להתחיל בסינון תגיות מעל 0.53 ולכוונן לפי הצורך.
איך מריצים
המשקל הכולל של הקבצים עומד על 3.5 גיגה בייט, כך שכרטיס מסך מודרני ממוצע עם 6 או 8 גיגה בייט של זיכרון יריץ אותו מקומית בלי מאמץ מיוחד. אפשר להריץ אותו דרך ספריית timm בפייתון או כמודל ONNX שדורש גרסה 1.17 ומעלה, וקיים גם מימוש ב־JAX.
גרסת ה־ONNX בגרסה הזו כבר לא נעולה לגודל אצווה בודד, מה שמאפשר להריץ אצוות שלמות במקביל ולנצל טוב יותר את המעבד הגרפי. אם יש לכם שרת מקומי עם מאיץ פשוט, אין שום סיבה לשלם על API חיצוני, כי הדרישות החישוביות כאן צנועות מאוד.
pip install -U huggingface_hub hf download SmilingWolf/wd-eva02-large-tagger-v3
הקבצים
8 קבצים במאגר, 3.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה בתוך מוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים