Tag_cleaning

מה זה

כל רשומה במאגר מייצגת פוסט ומכילה ארבע עמודות: post_id שמזהה את הפוסט בדנבורו, רשימת תגיות להוספה תחת add, רשימת תגיות למחיקה תחת remove, וחותמת זמן בשם updated_at. התגיות משתמשות בקידומות ספציפיות כדי לסווג את סוג המידע, למשל gen לתיאור כללי, char לדמויות, copyright לסדרות, artist ליוצרים ו־meta לפרטים טכניים.

הבסיס נלקח מקובץ בשם merged.json ועבר נרמול מול תמונת מצב של המטא-דאטה של דנבורו מ־30 באוגוסט 2026. במהלך הניקוי הומרו שמות נרדפים לשמות הרשמיים, פוצלו תגיות לפי התיעוד בוויקי של האתר, והוסרו 301 תגיות ללא תחליף או מקור. שורות שלא נשארו בהן פעולות נזרקו החוצה, כך שנשארו 1,739,622 רשומות נקיות לפעולה.

מתאים ל

• ניקוי מאגרי תיוג קיימים

  עדכון תגיות במאגרי אנימה קיימים על ידי הוספה והסרה אוטומטית לפי מזהה הפוסט.

• נרמול שמות תגיות במודלים

  המרת שמות נרדפים ותגיות ישנות לשמות קנוניים אחידים לפני אימון ראייה ממוחשבת.

• בדיקת איכות של תיוג

  השוואת מטא-דאטה מקומי מול 1.7 מיליון הוראות התיקון כדי למצוא תגיות שגויות.

איפה זה נופל

זה לא מאגר תמונות ולא דאטהסט עצמאי, אלא קובץ הוראות תיקון בלבד. כדי להשתמש בו חייבים גישה למטא-דאטה המקורי של התמונות, אחרת אין על מה להפעיל את רשימות המחיקה וההוספה. הנתונים מתמקדים באנימה בלבד, באנגלית ובתחביר פנימי של דנבורו, כך שאין כאן שום קשר לעברית או לתוכן כללי. בנוסף, מי שפרסם את המאגר מדגיש שצריך לבדוק את התיקונים בעצמכם לפני שמסתמכים עליהם כתוויות אמת מוחלטות.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets עם השם Grio43/Tag_cleaning וה־split שנקרא train. המאגר פתוח לציבור ולא דורש אישור גישה. בפנים יושב קובץ merged_2026.parquet, והעמודה הראשית היא post_id, ששונתה בעדכון מספטמבר 2026 במקום image_id שהיה שם קודם. מי שכתב סקריפטים על הגרסה הקודמת חייב לעדכן את שם השדה.

from datasets import load_dataset

ds = load_dataset("Grio43/Tag_cleaning")

הרישיון

הרישיון הוא apache-2.0, וזה אומר שמותר להשתמש במידע לפרויקטים מסחריים ומחקריים. הרישיון דורש מתן קרדיט וציון הרישיון המקורי, אך הוא לא מחייב אתכם לשחרר את המוצר או את המודל המאומן תחת אותו הרישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗