ye-pop
קוד פתוחEjafaapache-2.02024-01-25
המאגר מציע תמונות אמנות מסוננות מתוך Laion-POP לצד תיאורים עשירים ממספר מודלים חזותיים. הוא מיועד למי שרוצה לאמן מודלי דיפוזיה או כיתוב תמונה בלי הרעש הרגיל של הרשת.
- 672הורדות בחודש
- 42לייקים
מה זה
הנתונים מבוססים על Laion-POP וחולקו ל־11 חלקים, כשבכל אחד 50,000 רשומות, מה שמעמיד את הסך הכולל על טווח שבין 100,000 למיליון פריטים. היוצרים סיננו תוכן למבוגרים (NSFW) כקו בסיס והוסיפו אימות אנושי כדי לוודא את אמינות התוכן. המטרה המרכזית היא שיפור איכות התיאורים של תמונות אמנות לצורך אימון מודלים מולטימודליים.
המבנה של המאגר כולל קובצי זיפ עם תמונות שכבר הורדו מראש, ובמקביל קובצי JSON שמכילים את המטא-דאטה. כל רשומה כוללת את שם הקובץ, כתובת המקור, מנבא תוכן מיני, נתוני EXIF וממדי תמונה. בנוסף לטקסט החלופי המקורי (alt text) וציון הדמיון שלו, יש כאן כיתובים שנוצרו על ידי CogVLM ו־LLaVA, ובחלק הראשון שוחררו גם נתונים שעובדו באמצעות Gemini-Pro.
מתאים ל
- אימון מודלי דיפוזיה
שימוש בתמונות האמנות ובתיאורים המפורטים לשיפור היכולת של מודלי יצירת תמונה להבין סגנונות מורכבים.
- יצירת כתוביות לתמונות
אימון מודלי ראייה-שפה על בסיס השוואה בין תיאורים של CogVLM, LLaVA ו־Gemini-Pro.
- בדיקת איכות של תיוגי AI
בחינת ההבדלים בין טקסט אלטרנטיבי גולמי מהרשת לבין כיתובים שנוצרו על ידי מודלי ראייה שונים.
איפה זה נופל
הטקסטים במאגר קיימים באנגלית בלבד, ואין כאן תמיכה בעברית. בנוסף, למרות שיש 11 חלקים, רק החלק הראשון כולל עיבוד עם Gemini-Pro, וכדי לקבל גישה לשאר החלקים שנוצרו איתו היוצרים דורשים פנייה ישירה אליהם. המאגר פורסם בינואר 2024 ומבוסס על שלד נתונים ספציפי, כך שהוא מוגבל בעיקר לעולם של תמונות אמנות ולא מייצג צילומים כלליים או מגוון רחב של סגנונות מחוץ לטווח הזה.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
כן, הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי מלא. צריך רק לוודא ששומרים על תנאי הייחוס וכתב הוויתור על אחריות שמופיעים ברישיון. המודלים שתאמנו על הבסיס הזה יכולים להשתלב במוצרים סגורים.
האם צריך להוריד את התמונות מהרשת בעצמי?
לא, היתרון הגדול כאן הוא שקובצי הזיפ כבר מכילים את התמונות שהורדו מראש. אין תלות בקישורים שבורים מ־Laion-POP, אם כי כתובת המקור עדיין שמורה בקובץ הנתונים.
האם יש במאגר נתונים בעברית?
לא, המאגר מסומן וכולל נתונים בשפה האנגלית בלבד. כל התיאורים, כולל הטקסט החלופי והתוצרים של המודלים השונים, נכתבו באנגלית.
איך הנתונים נאספו וסוננו?
הבסיס נלקח מתוך Laion-POP בחלוקה של 50,000 תמונות לכל חלק. היוצרים הפעילו מנגנון זיהוי לסינון תוכן מיני, הוסיפו בדיקה אנושית, והריצו מודלים כמו LLaVA ו־CogVLM כדי להפיק תיאורים איכותיים יותר.
איך טוענים
אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה ישירה מ־Hugging Face דרך 23 הקבצים שבו. במקום להסתמך רק על קישורים שעשויים להישבר, הקבצים כוללים ארכיוני זיפ עם התמונות עצמן וקובצי JSON נלווים. כדי לעבוד איתו פשוט מורידים את קובצי ה־zip של החלקים הרלוונטיים ופותחים את ה־JSON. השדות המרכזיים שתרצו למשוך הם cogvlm_caption ו־llava_caption לצד התמונה המתאימה.
from datasets import load_dataset
ds = load_dataset("Ejafa/ye-pop")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים והתוצרים. אין חובה לשתף נגזרות תחת אותו רישיון, כך שאפשר לאמן עליו מודלים מסחריים וקנייניים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והייחוס למחברים המקוריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים