site_tags
קוד פתוחdeepghscc-by-4.02023-07-02
מעל 2.5 מיליון תגיות ייחודיות מ־18 אתרי שיתוף תמונות וקהילות אנימה כמו Pixiv ו־Danbooru. הוא חוסך את הצורך לסרוק ידנית אתרי תמונות כדי למפות קטגוריות, שמות נרדפים ותרגומים.
- 2,976הורדות בחודש
- 15לייקים
מה זה
המאגר מאגד מטא-דאטה של תגיות מ־18 אתרים שונים, בעיקר אתרי booru, קהילות אמנות ואירוח תמונות כמו Danbooru, Pixiv, Sankaku Complex ו־Wallhaven. אין כאן תמונות עצמן, אלא רק נתוני התיוג, ספירת פוסטים שמציגה פופולריות, שיוך לקטגוריות כמו דמות, אמן, זכויות יוצרים או תגית כללית, וחותמות זמן.
התוכן מחולק לפי תיקיות של האתרים המקוריים. כל פלטפורמה מגיעה עם קבצים בפורמטים שונים: JSON, CSV, Parquet ומסדי נתונים של SQLite, כך שנוח לעבוד איתם בלי המרות מיוחדות. בחלק מהאתרים, למשל Danbooru ו־Gelbooru, מצורפים גם קובצי כינויים (aliases) שמאפשרים לקשר בין מילים נרדפות לאותה תגית מרכזית.
מבנה הרשומות משתנה מעט בין הפלטפורמות. בעוד ששדות בסיס כמו מזהה, שם וספירת הופעות קיימים בכולם, אתרים מסוימים כוללים שדות ייחודיים להם. Pixiv מספקת קישורי ויקי, צפיות וסיווגי מדיה כמו מנגה ומשחקים, Sankaku מוסיפה תרגומים לאנגלית, יפנית ורוסית, וב־e621 יש מידע על תגיות שמופיעות יחד.
מתאים ל
- נרמול ומיפוי מילים נרדפות
שימוש בטבלאות ה־aliases כדי לחבר שגיאות כתיב, קיצורים וכינויים שונים לתגית קנונית אחת במנועי חיפוש.
- מערכות תיוג אוטומטי לאמנות
אימון מסווגי טקסט ורשתות זיהוי לקטלוג איורים לפי קטגוריות של דמויות, סדרות וסגנון ציור של אמנים.
- אחזור מידע חוצה שפות
בניית מילוני מונחים ותרגום שאילתות בין אנגלית, יפנית ורוסית עבור תוכן מאויר ותרבות פופולרית.
איפה זה נופל
ההטיה המרכזית ברורה: המאגר ממוקד כולו באנימה, אמנות רשת ותוכן booru, כולל אתרים שמכילים תוכן למבוגרים כמו rule34 ו־e621. אם המודל שלכם עוסק בתמונות מהעולם האמיתי, הנתונים האלה לא רלוונטיים. מבחינת שפות יש כאן אנגלית, יפנית ומעט רוסית, עברית לא קיימת בכלל. הנתונים עלו ביולי 2023 ומשקפים תמונת מצב של אותה תקופה, כך שתגיות וטרנדים חדשים יותר חסרים. בנוסף, הסכמה אינה אחידה לחלוטין בין האתרים ודורשת נרמול ידני אם מאחדים מקורות שונים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון cc-by-4.0 מאפשר שימוש מסחרי מלא, כולל אימון מודלים או שילוב הנתונים במערכות ארגוניות. התנאי היחיד הוא מתן קרדיט ברור למפרסם המאגר deepghs וציון הרישיון.
האם יש במאגר נתונים בעברית?
לא. התגיות נאספו מאתרים בינלאומיים והשפות הזמינות הן בעיקר אנגלית ויפנית, עם מעט רוסית באתרים מסוימים כמו Sankaku. שמות של דמויות או מושגים ייחודיים לא מופיעים בעברית.
האם המאגר כולל את התמונות עצמן?
לא, אין כאן קובצי מדיה כלל. המאגר מכיל רק מטא-דאטה טקסטואלי של תגיות, מספרי מזהה, סיווגים לקטגוריות וסטטיסטיקות שימוש שנאספו מתוך 18 האתרים.
איך הנתונים מאורגנים והאם צריך להוריד את כל המאגר?
הנתונים מחולקים לתיקיות נפרדות עבור כל אתר מקור ובתוכן קבצים בפורמטים שונים כמו CSV, Parquet ו־SQLite. אין צורך להוריד הכל, אפשר להוריד קובץ בודד של אתר ספציפי שמעניין אתכם.
איך טוענים
אין צורך לבקש אישור גישה מיוחד, מורידים את הקבצים ישירות מהמאגר. בגלל שהנתונים מפוצלים ל־107 קבצים לפי אתרים ופורמטים, מומלץ לקחת רק את הפלטפורמה שמעניינת אתכם. אם אתם עובדים בפייתון, טעינה של קובץ Parquet בודד דרך pandas היא הדרך המהירה והחסכונית ביותר בזיכרון, או התחברות ישירה לקובץ SQLite אם רוצים להריץ שאילתות בלי לטעון הכל ל־RAM. השדות העיקריים שתרצו לבדוק הם name, category או type כדי לסנן רעש, ו־post_count כדי להעיף תגיות זניחות.
from datasets import load_dataset
ds = load_dataset("deepghs/site_tags")הרישיון
המאגר מפורסם תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, בתנאי שניתן קרדיט מתאים ליוצר deepghs ומצוין אם נעשו שינויים. אין דרישה לשתף תוצרי המשך תחת אותו רישיון, כך שאפשר לאמן מודלים לשימוש פנימי או מסחרי בלי לחשוף את הקוד או את המשקלים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס