pixiv-niji-journey
קוד פתוחLinaqrufagpl-3.02022-12-27
המאגר מרכז 9,766 תמונות שנאספו מפיקסיב תחת החיפוש ניג'יג'ורני בסוף 2022. הוא מיועד למי שרוצה לאמן מודלים של סטייבל דיפיוז'ן או מחוללי תיאורים על סגנון אנימה מובהק.
- 71הורדות בחודש
- 53לייקים
מה זה
הנתונים מורכבים מתמונות בפורמטים של PNG ו־JPG יחד עם קובצי מטא-דאטה, שנשלפו ישירות מהאתר באמצעות הכלי gallery-dl. כל החומר נאסף בטווח זמן קצר מאוד, בין 6 בנובמבר 2022 ל־27 בדצמבר 2022, סביב מונח החיפוש nijijourney בלבד.
המאגר מחולק לשתי גרסאות עיקריות שמופיעות בקובצי ארכיון נפרדים. גרסת ה־raw שומרת על הקבצים המקוריים כפי שירדו מהרשת בצירוף נתוני ה־JSON שהגיעו ישירות מפיקסיב. גרסת ה־preprocessed עברה עיבוד נוסף שכלל מעבר ל־RGBA, תיוג טקסטואלי אוטומטי בעזרת BLIP, ותגיות בסגנון דנבורו שהופקו באמצעות wd-v1-4-vit-tagger. בנוסף, הגרסה המעובדת כוללת סינון של תמונות באיכות ירודה וקבצים לא רלוונטיים, ומספקת קובצי טקסט וקובצי caption לכל תמונה.
מתאים ל
- אימון סטייבל דיפיוז'ן
כוונון עדין של מודלי תמונה לסגנון אנימה בעזרת תמונות שכבר עברו חיתוך, ניקוי ותיוג.
- מחוללי כתוביות לתמונות
אימון והערכה של מודלי ראייה שמפיקים תיאורים טקסטואליים ותגיות עבור איורים.
- סיווג תגיות אנימה
בדיקת ביצועים של מודלי סיווג רב-תווית על בסיס תגיות הדנבורו שמצורפות לגרסה המעובדת.
איפה זה נופל
כל התוכן מבוסס על שאילתת חיפוש בודדת באתר פיקסיב, מה שיוצר הטיה כבדה לסגנון האמנותי של הפלטפורמה ולתוצרים של ניג'יג'ורני באותם חודשיים של 2022. התיוג המילולי נוצר על ידי כלים אוטומטיים כמו BLIP וטגר מבוסס ViT, כך שיש שגיאות וחוסר עקביות בתיאורים. אין כאן מגוון רחב של סגנונות, ואין שום ייצוג לטקסט בעברית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הוא AGPL-3.0, ולכן השימוש המסחרי מותר אבל מגיע עם תנאי הדבקה מחמירים. אם תציעו שירות דרך הרשת שמסתמך על הנתונים או על שינויים שלהם, תצטרכו לחשוף את כל קוד המקור של המערכת תחת אותו רישיון. לרוב החברות המסחריות זו דרישה שפוסלת את השימוש.
האם המאגר כולל תמיכה בעברית?
לא, אין במאגר טקסט בעברית בכלל. התיאורים נוצרו באנגלית באמצעות כלי הראייה הממוחשבת BLIP, והתגיות מבוססות על המילון של דנבורו שהוא כולו באנגלית. המטא-דאטה המקורית מגיעה מפיקסיב, שם הנתונים הם ביפנית או באנגלית.
איך המידע נאסף ועובד?
היוצר הוריד 9,766 תמונות מפיקסיב בסוף 2022 באמצעות הכלי gallery-dl עם מילת החיפוש nijijourney. לאחר מכן הוא ניקה תמונות לא רלוונטיות או באיכות ירודה, המיר את הצבעים ל־RGBA, והריץ טגרים אוטומטיים שהפיקו קובצי טקסט צמודים לכל תמונה.
באיזה פורמט הקבצים מגיעים?
המאגר כולל קובצי ZIP שמחולקים לפי גרסאות. בתוך הקבצים תמצאו תמונות בפורמט PNG ו־JPG, לצד קובצי מטא-דאטה מסוג JSON, txt ו־caption שכוללים את התגיות והתיאורים עבור כל פריט.
איך טוענים
אין צורך בהרשאות גישה מיוחדות. מורידים את קובצי ה־ZIP ישירות מעמוד המאגר בהאגינג פייס ופותחים אותם מקומית. מי שמתכנן אימון מודל תמונה כדאי שייגש ישר לגרסה המעובדת, שבה לכל תמונה יש קובץ txt עם תגיות דנבורו וקובץ caption עם תיאור טקסטואלי, לצד קובצי מטא-דאטה מרכזת כמו meta_clean.json.
from datasets import load_dataset
ds = load_dataset("Linaqruf/pixiv-niji-journey")הרישיון
המאגר מופץ תחת רישיון AGPL-3.0. זהו רישיון קופי-לפט קשוח שמתיר שימוש לכל מטרה, כולל מסחרית, אבל מחייב אתכם לשחרר את כל קוד המקור תחת אותו רישיון בדיוק אם אתם מפעילים שירות מבוסס רשת או מפיצים שינויים. אם אתם בונים מוצר סגור לחברה, לא הייתי נוגע בזה.