danbooru-wiki-2024
קוד פתוחisek-aicc-by-sa-4.02024-07-07
המאגר מרכז דפי ויקי על תגיות מתוך דנבורו, כולל תיאורים והתאמות לתגיות של פיקסיב. מי שמאמן מודלים על תמונות אנימה או בונה מיפוי תגיות צריך בדיוק את המילון הזה.
- 741הורדות בחודש
- 28לייקים
מה זה
הנתונים מכילים דפי ויקי שנאספו באמצעות ה־API של דנבורו, ומכסים תקופה ארוכה שבין שנת 2005 לסוף אוגוסט 2024. בכל רשומה יש תיאור טקסטואלי של התגית לצד קישור או התאמה לתגיות מקבילות באתר פיקסיב.
הבסיס לעבודה היה מאגר תגיות קודם של אותו יוצר. מתוכו סוננו החוצה כל התגיות שהופיעו פחות ממאה פעמים, כך שנשארו רק מונחים עם נפח שימוש ממשי. המאגר כולל בין עשרת אלפים למאה אלף רשומות, וכולן יושבות בחלק יחיד של נתוני אימון ללא חלוקה מראש למבחן או ולידציה.
מתאים ל
- מיפוי בין פלטפורמות
תרגום אוטומטי ומעבר בין תיוגים של דנבורו לתיוגים המקבילים ברשת פיקסיב.
- אימון מודלי שפה לאנימה
הרחבת ההבנה של מודלים לגבי מושגים, דמויות ותיאורי סצנות מעולם האנימה.
- סיווג טקסט ותגיות
בניית מסווגים שמזהים קטגוריות של תגים ומנתחים תיאורים טקסטואליים באנגלית וביפנית.
איפה זה נופל
הטקסטים מוגבלים לאנגלית וליפנית בלבד, בלי שום תמיכה בעברית. סינון הסף של מאה שימושים מעלים מושגים נדירים או חדשים לגמרי, והמידע נעצר באוגוסט 2024. מעבר לכך, מדובר בתיאורים שנכתבו בידי קהילת משתמשים ברשת, מה שאומר שסגנון הכתיבה אינו אחיד ועלול להכיל סלנג, שגיאות ותכנים בוטים שמתלווים לתרבות האנימה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הרישיון מאפשר שימוש מסחרי, אבל הוא כולל דרישת שיתוף זהה. אם תשנו את הנתונים או תיצרו מהם מאגר חדש, תצטרכו להפיץ אותו תחת אותו הרישיון בדיוק ולתת ייחוס ליוצר המקורי.
האם יש במאגר תכנים בעברית?
לא. הנתונים קיימים באנגלית וביפנית בלבד, כפי שנאספו במקור מדפי הוויקי של האתר.
איך סוננו הנתונים מתוך כלל המידע באתר?
היוצר התבסס על מאגר תגיות רחב יותר והסיר כל תגית שהמשתמשים הצמידו פחות ממאה פעמים. התוצאה כוללת רק מושגים מבוססים שצברו נפח שימוש בין 2005 לאוגוסט 2024.
איך טוענים
טוענים אותו ישירות דרך ספריית datasets בפייתון בעזרת הפקודה load_dataset עם ציון הנתיב isek-ai/danbooru-wiki-2024 והספליט train. הנתונים יושבים בקובץ parquet בודד כך שאין צורך בהורדות כבדות או באישורי גישה מיוחדים. כדאי מאוד לקבע את גרסת הנתונים בעזרת פרמטר revision ספציפי, כי היוצר מציין שהמאגר מתעדכן באופן לא סדיר.
from datasets import load_dataset
ds = load_dataset("isek-ai/danbooru-wiki-2024")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-4.0. מותר להשתמש בו לצרכים מסחריים ומחקריים, אך חובה לתת קרדיט מתאים. המכשול העיקרי כאן הוא סעיף השיתוף הזהה, שמחייב אתכם לשחרר כל נגזרת של המאגר תחת אותו רישיון פתוח, נקודה שעלולה לסבך שילוב שלו במוצרים סגורים.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון