wd-vit-tagger-v3

מה זה

הוא מבוסס על ארכיטקטורת ViT עם כמעט 95 מיליון פרמטרים, ומיועד לתיוג עמוק של תמונות בסגנון Danbooru. הוא מזהה תגיות כלליות, שמות של דמויות ודירוגי תוכן. בשונה מגרסאות קודמות שנעלו את גודל האצווה לאחד, כאן אפשר להריץ עיבוד מקבילי בקלות, והוא נתמך ישירות בספריית timm הפופולרית בפייתון.

במדדי האימות שלו, בנקודת שוויון בין דיוק לכיסוי עם סף של 0.2614, הוא מגיע לציון F1 של 0.4402. המספר הזה נשמע נמוך על הנייר, אבל כשמבינים שמדובר באלפי תגיות שונות שמתחרות על אותה תמונה עם חוסר איזון מובנה בדאטה, זה שיפור ישיר מול גרסה 1.0 שהגיעה ל־0.4278. היוצר הכניס פה שקלול לפי תדירות התגיות כדי שהמודל לא ילמד רק את הדברים הנפוצים, ואימן אותו על עוד תקופות כדי לחדד את הזיהוי.

מתאים ל

• תיוג דאטה לאימון מודלי תמונה

  הוא מחלץ שמות דמויות ומאפיינים בדיוק בפורמט שדרוש לאימון מודלי דיפוזיה.

• סינון תוכן אוטומטי

  הוא מזהה דירוגי תוכן מובנים ומאפשר לחסום או למיין תמונות רגישות במאגרים.

• קטלוג וחיפוש באוספי אנימה

  מאפשר לבנות מנוע חיפוש לפי סגנון, תוכן או דמות בלי להקליד ידנית.

איפה זה נופל

הוא אומן אך ורק על תמונות מ־Danbooru, מה שאומר שהוא עיוור לחלוטין לצילומים מהעולם האמיתי, לציורים בסגנונות מערביים או לגרפיקה עסקית. בנוסף, נחתכו ממנו מראש תגיות שהופיעו בפחות מ־600 תמונות, כך שפרטים נדירים מאוד פשוט לא קיימים באוצר המילים שלו. הסף שבוחרים משפיע ישירות על התוצאה: אם תציבו סף נמוך מדי תקבלו המון זיהויים שגויים, ואם תציבו סף גבוה תאבדו דמויות.

איך מריצים

המודל שוקל 1.1 גיגה בייט בלבד, כך שלא צריך שרת מפלצתי. כל כרטיס מסך בסיסי או מעבד מודרני מריצים אותו בלי למצמץ, ואפשר לעבוד ישירות ב־timm, ב־JAX, או בפורמט ONNX שדורש גרסה 1.17.0 ומעלה.

גרסה 2.0 כוללת משקולות מעודכנות לעומת 1.0 ו־1.1, וזה הדגם שתרצו לטעון. אין שום סיבה לשלם ל־API חיצוני על משימה כזאת, הריצה המקומית פשוטה וזולה בהרבה אפילו על לפטופ רגיל.

pip install -U huggingface_hub
hf download SmilingWolf/wd-vit-tagger-v3

הקבצים

8 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.onnx378.5 MB
• model.safetensors378.4 MB
• model.msgpack378.4 MB
• selected_tags.csv308.5 KB
• README.md1.8 KB
• .gitattributes1.5 KB
• config.json684 B
• sw_jax_cv_config.json303 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצר סגור, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗