MOMIJI
קוד פתוחturing-motorscc-by-4.02025-04-30
מאגר יפני של מסמכים המשלבים טקסט ותמונות לפי סדר הופעתם המקורי ברשת. הוא מיועד למי שרוצה לאמן מודלים רב-מודאליים על תוכן יפני בלי לבנות צינור סינון מאפס.
- 338הורדות בחודש
- 22לייקים
מה זה
המאגר מבוסס על סריקות של Common Crawl שנעשו בין פברואר 2024 לינואר 2025. במקור הצינור עיבד כ־56 מיליון מסמכים, 110 מיליארד תווים וכמעט 250 מיליון קישורי תמונות, ועבר שלבי סינון של איכות ובטיחות כולל סינון תוכן מיני. המבנה שנוצר משמר את מיקום התמונות בתוך פסקאות הטקסט בעזרת מצייני מקום ייעודיים, כך שסדר הדברים המקורי בדף האינטרנט נשמר במדויק.
בפועל המאגר לא כולל את קובצי התמונות הבינאריים ולא את גוף הטקסט המלא. מה שנמצא בקבצים הוא מטא-דאטה טהור: מזהה מסמך, כתובת הדף ברשת, ורשימת תמונות הכוללת קישור ישיר, מימדי רוחב וגובה, טקסט חלופי ונתוני מצלמה כשיש כאלה. החלוקה הפנימית מסודרת לפי 10 מחזורי סריקה שונים של Common Crawl, כולם בפורמט קובצי jsonl דחוסים.
מתאים ל
- אימון מודלים רב-מודאליים
לימוד הקשר בין תמונות לטקסט עוקב בשפה היפנית, בדיוק כפי שהם מסודרים בכתבות ודפי אינטרנט.
- מחקר על הטיות ובטיחות ברשת
ניתוח ייצוג תרבותי, הטיות שפה ואיכות מסנני תוכן אוטומטיים על נתוני עתק יפניים.
- כריית נתונים וניתוח סטטיסטי
מדידת מבנה דפי תוכן יפניים, צפיפות תמונות ביחס לטקסט ושימוש בטקסט חלופי ברשת.
איפה זה נופל
הנתונים הם ביפנית בלבד, ואין כאן עברית או אנגלית מעבר למה שמופיע במקרה באתרים יפניים. החיסרון המרכזי הוא תלות ברשת חיה. אתרים נמחקים, קישורי תמונות נשברים והטקסטים משתנים, כך שאי אפשר לשחזר בדיוק את המצב שהיה בעת בניית המאגר. בנוסף, למרות הסינון האוטומטי, עדיין עלולים להופיע תכנים פוגעניים, אלימים או מוטים, מה שמחייב בדיקות איכות וסינון נוספות לפני שמשלבים את המידע בתהליך עבודה קריטי.
שאלות
נפוצות
האם המאגר כולל את התמונות והטקסטים המלאים?
לא. המאגר מכיל רק קישורים, מיקומי תמונות ומטא-דאטה. כדי לקבל את הטקסט והתמונות בפועל צריך להריץ את כלי החילוץ שמוריד אותם ישירות מכתובות האתרים.
האם יש במאגר תוכן בעברית?
לא. המאגר מוגדר וממוקד ספציפית באינטרנט היפני, וכל הרשומות בו הן בשפה היפנית בלבד.
כמה שוקל הדאטהסט והאם קשה להוריד אותו?
ההורדה מהירה יחסית מכיוון שכלל הרשומות שוקלות כ־14.7 גיגה-בייט של קובצי jsonl דחוסים. המשקל האמיתי והעומס על הדיסק יגיעו רק כאשר תורידו את התמונות והטקסטים עצמם.
האם מותר להשתמש בזה למטרות מסחריות?
הרישיון של המאגר עצמו מתיר שימוש מסחרי תחת מתן קרדיט, אך הוא לא מעניק זכויות על התמונות והטקסטים של האתרים החיצוניים. עליכם לבדוק את התאמת השימוש לחוקי זכויות יוצרים במדינה שבה אתם פועלים.
איך טוענים
מורידים את קובצי ה־jsonl.gz ישירות מדף הקבצים, כאשר כלל הרשומות שוקלות כ־14.7 גיגה-בייט ואין צורך באישור גישה מיוחד. כדי להפוך את המטא-דאטה לטקסט שמיש לאימון, צריך להתקין את הכלי momiji_generator מגיטהאב בעזרת uv. הכלי פונה לכתובות האתרים ומחלץ מהן בזמן אמת את השדות text ו־text_list. מומלץ להתחיל בהרצה על קובץ בודד עם הגבלת שורות לפני שרצים על כל המאגר.
from datasets import load_dataset
ds = load_dataset("turing-motors/MOMIJI")הרישיון
התיעוד, המטא-דאטה והרשומות שיצרו המפרסמים מוגדרים תחת רישיון cc-by-4.0 שמאפשר שימוש מסחרי ושינויים בתנאי שנותנים קרדיט. עם זאת, הרישיון הזה לא תופס על הטקסטים והתמונות המקוריים שאתם מורידים מהאתרים עצמם. הזכויות עליהם שייכות לבעלי האתרים, כך שכל חברה צריכה לוודא בעצמה את הבסיס המשפטי לאימון מודלים על תוכן צד שלישי כזה.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס