laion-high-resolution-chinese
קוד פתוחwanngcc-by-4.02022-12-14
המאגר כולל כ־2.66 מיליון צמדי תמונה וטקסט בסינית ברזולוציה גבוהה מתוך LAION-5B. הוא נותן קישורים מסוננים למי שרוצה לאמן מודלים מולטימודליים בלי לחלץ לבד נתונים מאוסף הענק המקורי.
- 387הורדות בחודש
- 24לייקים
מה זה
מדובר בתת-קבוצה שנלקחה ישירות מתוך הדאטהסט המולטימודלי הגדול Laion5B-high-resolution, תוך התמקדות בחלק הסיני שלו בלבד. המאגר מכיל כ־2.66 מיליון צמדי תמונה וטקסט, ומיועד לפי ההגדרה שלו למשימות של חילוץ מאפיינים, feature-extraction.
התוכן עצמו לא מחזיק את קובצי התמונות אלא רק את המידע הטקסטואלי, שכולל כתובות אינטרנט של התמונות לצד התיאורים שלהן בשפה הסינית. הרשומות מפוצלות לשישה עשר קובצי parquet שונים, ללא חלוקה מפורטת לקבוצות אימון או מבחן מעבר למבנה הזה, וללא תיעוד נוסף בכרטיס על אופן הסינון הראשוני מעבר למה שנעשה במקור ב־LAION.
מתאים ל
- אימון מודלי CLIP בסינית
התאמת מודלים מולטימודליים לחיפוש תמונות לפי תיאור טקסטואלי בסינית ברזולוציה גבוהה.
- חילוץ מאפיינים ויזואליים
יצירת וקטורים מייצגים לתמונות המלוות בטקסט סיני עבור מערכות אחזור מידע.
- מחקר על דאטהסטים פתוחים
בדיקת שרידות של קישורי תמונות ואיכות נתונים שמקורם באוסף LAION לאורך זמן.
איפה זה נופל
הבעיה המרכזית כאן היא תלות בקישורים חיצוניים, שחלקם נמחקו מהרשת מאז פרסום הדאטהסט בסוף 2022. הכרטיס לא מפרט אילו סינוני איכות או בטיחות בוצעו על התוכן, מה שאומר שהטקסטים והתמונות עשויים לכלול רעש, שגיאות, או תוכן בעייתי שנאסף מהאינטרנט הפתוח. בנוסף, המאגר תומך בשפה הסינית בלבד, כך שהוא לא יעזור למי שמחפש עברית או פרויקטים רב-לשוניים אחרים.
שאלות
נפוצות
האם הדאטהסט כולל תמונות שמורות או רק קישורים?
המאגר כולל אך ורק קובצי טקסט וכתובות URL בפורמט parquet, ונפחו כ־381 מגה-בייט. התמונות עצמן אינן כלולות במאגר, כך שתצטרכו להוריד אותן בעצמכם משרתים חיצוניים. המשמעות היא שחלק מהקישורים לא יעבדו בגלל אתרים שנסגרו.
האם מותר להשתמש במאגר לפרויקטים מסחריים?
הרישיון המדווח הוא cc-by-4.0, שמאפשר שימוש מסחרי חופשי כל עוד מקפידים לתת ייחוס הולם ליוצר. עם זאת, זכויות היוצרים על התמונות עצמן תלויות באתרים שמהם הן נלקחו במקור ברחבי הרשת. מומלץ לבדוק את ההיבט המשפטי של התמונות לפני שילוב במוצר.
האם יש במאגר תמיכה בשפה העברית?
אין במאגר תמיכה בעברית כלל. הוא מוגדר עבור השפה הסינית בלבד וכולל צמדי טקסט ותמונה שמקורם בתת-הקבוצה הסינית של LAION-5B. אם המטרה היא עיבוד שפה מקומית, תצטרכו לחפש מקור נתונים אחר.
איך טוענים
טוענים את הנתונים ישירות דרך 16 קובצי parquet שיושבים בתיקיית data, או מורידים אותם בסקריפט bash פשוט בעזרת wget כפי שמוסבר בתיעוד. הנפח הכולל של הקבצים עומד על כ־381 מגה-בייט בלבד, מכיוון שהם כוללים טקסט וכתובות URL ולא את התמונות עצמן. הגישה פתוחה ואין צורך באישור מיוחד. קחו בחשבון שכדי לעבוד בפועל תצטרכו להוריד את התמונות בעצמכם מהרשת, ורבות מהן כבר לא יהיו זמינות עקב קישורים שבורים.
from datasets import load_dataset
ds = load_dataset("wanng/laion-high-resolution-chinese")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כל עוד אתם נותנים קרדיט מתאים ליוצר המקורי ומציינים את השינויים שביצעתם. אין כאן חובה לשתף נגזרות באותו הרישיון, מה שמאפשר להשתמש בתוצרים ובמודלים שאומנו על הנתונים גם בפיתוחים מסחריים סגורים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס