cc12m-a_woman
קוד פתוחopendiffusionaicc-by-sa-4.02024-11-29
תת קבוצה מסוננת ידנית מתוך CC12M שמתמקדת בתמונות חדות של נשים ללא סימני מים. היא מתאימה למי שמאמן מודלי תמונה וצריך דאטה נקי בלי רעשי רקע מסחריים.
- 88הורדות בחודש
- 27לייקים
מה זה
המאגר מבוסס על הדאטהסט המנוקה של CC12M מבית opendiffusionai. היוצר סינן את הנתונים באמצעות חיפוש פשוט של המחרוזת A woman, ואז עבר ידנית על התוצאות כדי להעיף תמונות עם סימני מים, מיתוג של אתרים ורעשים ויזואליים שמפריעים לאימון. נבחרו רק תמונות שבהן האובייקט המרכזי נמצא בפוקוס חד וברור.
במקום מאגר ענק ומלוכלך, יש כאן כמה אלפי רשומות בלבד בשלב זה, כשהיעד שהוגדר הוא להגיע למאה אלף. הרשומות מגיעות בתור קובץ מזהים וקישורים, כך שהתמונות עצמן לא יושבות ישירות במאגר אלא נדרשות להורדה בנפרד.
מתאים ל
- אימון LoRA ממוקד דמויות
התמונות חדות וללא סימני מים, מה שעוזר בדיוק של הפנים בלי ללכלך את המשקולות בטקסטים.
- פיין טיונינג למודלי דיפוזיה
שיפור איכות יצירת אנשים במודלים קיימים בעזרת דאטה שעבר סינון ידני קפדני.
- בדיקת איכות של מחוללי תמונה
שימוש בתמונות כרפרנס איכותי בעל פוקוס מוגדר לבדיקת שחזור פרטים וחדות.
איפה זה נופל
הסינון כאן סובייקטיבי לחלוטין ונשען על העין של אדם אחד שהחליט מה נחשב חד ואיכותי. הדאטהסט כולו באנגלית ומבוסס על שאילתה אחת בלבד, מה שמבטיח הטיה חזקה בייצוג של מה שמוגדר כאישה. בנוסף, מדובר רק בכמה אלפי תמונות כרגע, ואי אפשר לדעת כמה קישורים יישברו במהלך ההורדה בפועל בעזרת הסקריפט.
שאלות
נפוצות
האם המאגר כולל את קובצי התמונות עצמם?
לא, המאגר מכיל רק קובץ jsonl.gz עם קישורים וסקריפט הורדה בשם crawl.sh. כדי לקבל את התמונות צריך להריץ את כלי העזר img2dataset אצלכם במחשב או בשרת.
האם יש במאגר תמיכה בעברית?
המאגר מוגדר כולו בשפה האנגלית והכיתובים נשענים על מקורות הרשת של CC12M. אין כאן טקסטים, תיוגים או תיאורים בעברית.
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
הרישיון הוא cc-by-sa-4.0, שמתיר שימוש מסחרי אבל כולל סעיף שיתוף זהה. המשמעות היא שכל נגזרת של הדאטהסט חייבת להשתחרר תחת אותו רישיון בדיוק.
מה ההבדל בין המאגר הזה לבין CC12M הרגיל?
המאגר המקורי עצום ומכיל מיליוני תמונות עם המון רעש, סימני מים ותמונות מטושטשות. כאן מדובר בכמה אלפי תמונות בלבד שנבחרו ידנית בגלל חדות הפוקוס והיעדר סימני מים מסחריים.
איך טוענים
לא מורידים פה תמונות מוכנות בקליק. המאגר מכיל קובץ דחוס בשם cc12m-woman-subset.jsonl.gz וסקריפט בשם crawl.sh. כדי להוריד את התוכן הוויזואלי בפועל צריך להתקין את כלי הפייתון img2dataset ולהריץ את הסקריפט, שסביר להניח שתצטרכו לערוך ולהתאים להגדרות שלכם. מי שמעדיף לעבוד עם פורמט Parquet יכול למצוא המרה אוטומטית שנוצרה על ידי המערכת של Hugging Face תחת ענף ההמרות הייעודי.
from datasets import load_dataset
ds = load_dataset("opendiffusionai/cc12m-a_woman")הרישיון
המאגר מפורסם תחת רישיון cc-by-sa-4.0. הרישיון מתיר שימוש מסחרי, אך מחייב מתן קרדיט מתאים ושיתוף של יצירות נגזרות תחת אותו רישיון בדיוק. אם אתם מאמנים מודל על הנתונים הללו, תצטרכו לבדוק היטב אם דרישת השיתוף הזהה חלה גם על משקולות המודל שייווצר.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון