opendiffusionai/pexels-photos-janpf
קוד פתוחopendiffusionaiother2024-06-25
כ־130 אלף תמונות באיכות גבוהה שנלקחו מ־Pexels, ומגיעות עם תיאורים מוכנים משלושה מודלים שונים. הוא מתאים למי שרוצה לאמן מודלי תמונה בלי לעבור תהליך יצירת תיאורים ממושך.
- 576הורדות בחודש
- 45לייקים
מה זה
המאגר כולל סביב 130 אלף תמונות שמקורן באתר התמונות החינמי Pexels. הבחירה של התמונות לא הייתה אקראית לחלוטין, אלא התבססה על רשימת כתובות מתוך פרויקט גיטהאב של אימון אסתטי. שמות הקבצים מבוססים על ערכי הגיבוב שלהם, והם מאורגנים בתיקיות שמחולקות לפי תחיליות הקסדצימליות.
התמונות עצמן מגיעות בצורתן הגולמית, שילוב של קובצי JPG ו־PNG ברזולוציות משתנות שיכולות להגיע ל־3000, 4000 ואף 6000 פיקסלים לצלע. אין כאן עיבוד מוקדם של גודל או יחס גובה-רוחב, והנתונים נשמרים כפי שירדו מהמקור.
לצד התמונות יש קובץ מטא-דאטה בפורמט Parquet ושלושה סטים של תיאורים לבחירה. סט אחד מבוסס על WD14 בסגנון תגיות, השני על המודל InternLM 7B בניסוח תמציתי וענייני, והשלישי על LLaVA 38B שמספק תיאורים מלאים ומפורטים יותר.
מתאים ל
- אימון מודלי טקסט לתמונה
אימון או כוונון עדין של מודלי דיפוזיה בעזרת תמונות באיכות צילום גבוהה ותיאורי LLaVA מפורטים.
- סיווג תמונות ומחקר אסתטיקה
שימוש בתמונות המקור שנבחרו מראש לפרויקט אסתטי, יחד עם תגיות WD14 לבניית מסווגים.
- השוואת מודלי ראייה-שפה
ניתוח ההבדלים בתיאור תמונות זהות בין שלושה מודלים ברמות גודל וסגנון שונות.
איפה זה נופל
התמונות גולמיות ולא אחידות, מה שידרוש מכם כוח עיבוד וזמן כדי לחתוך או לשנות להן גודל לפני אימון. התיאורים האוטומטיים מכילים שגיאות ידועות, למשל מודל WD14 שמדביק תגית של בחורה לתמונות בלי בני אדם כלל. בנוסף, כל התיאורים באנגלית בלבד, ואין שום עברית בדאטהסט. המפרסם עצמו יצר רשימות לסינון תמונות בשחור-לבן או תמונות ערוכות מדי, מה שמעיד על רעש ויזואלי שקיים בגרסה המלאה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון בדף המאגר מוגדר כלא מוגדר. התמונות במקור מ־Pexels, שם לרוב יש רישיון חופשי אך עם תנאים מסוימים לגבי אנשים המופיעים בתמונות ומכירת עותקים. בלי הבהרה רשמית בתוך המאגר, שימוש מסחרי במודל שמאומן עליו עלול להיות בעייתי.
כמה מקום בדיסק צריך בשביל המאגר הזה?
הדאטהסט מכיל כ־130 אלף תמונות ברזולוציה מלאה, חלקן מגיעות עד 6000 פיקסלים. לא מצוין המשקל המדויק בג'יגה-בייטים, אך מדובר ב־64 קובצי ארכיון גדולים שדורשים עשרות עד מאות ג'יגה-בייטים. אם שטח האחסון מוגבל, כדאי להוריד דרך הסקריפט שמקטין את הרזולוציה בזמן ההורדה.
האם המאגר כולל תיאורים או תגיות בעברית?
לא. התיאורים הופקו אוטומטית ממודלי שפה וראייה דוגמת LLaVA ו־InternLM, וכן מתייג WD14. כולם כתובים באנגלית בלבד, ואין ייצוג לטקסט בעברית במטא-דאטה.
מה ההבדל בין שלושת קובצי התיאורים שמגיעים איתו?
קובץ WD14 מספק תגיות קצרות בסגנון מאגרי תמונות אך נוטה לטעויות בזיהוי דמויות. קובץ InternLM 7B מספק תיאור טבעי קצר וענייני. קובץ LLaVA 38B הוא המקיף והמדויק מכולם, ומתאים למי שצריך תיאורים עשירים.
איך טוענים
אין צורך לבקש אישור גישה מיוחד. ההורדה מתבצעת בשתי דרכים עיקריות: הורדה ישירה של 64 קובצי ZIP של התמונות בעזרת כלי השורת-פקודה של Hugging Face, או הרצה של סקריפט הורדה מול Pexels ישירות באמצעות כלי בשם img2dataset. הדרך השנייה עדיפה אם אתם רוצים להגדיר מראש כיווץ רזולוציה או פורמט אחיד, כדי לא לחנוק את הדיסק בתמונות ענק של 6000 פיקסלים. קובץ המטא-דאטה metadata.parquet מרכז את הקישורים המקוריים ואת כל סוגי התיאורים.
from datasets import load_dataset
ds = load_dataset("opendiffusionai/pexels-photos-janpf")הרישיון
הרישיון מוגדר בתור other. התמונות הגיעו מ־Pexels, אתר שמפעיל תנאי שימוש משלו, אך יוצרי המאגר לא פירטו תנאי רישוי משפטיים מדויקים עבור החבילה עצמה. מומלץ מאוד לבדוק את הרישיון המקורי של התמונות ב־Pexels לפני אימון מודל לשימוש מסחרי, כי הגדרת רישיון חסרה או כללית מדי חושפת אתכם לסיכונים משפטיים.