oldbookillustrations
קוד פתוחgigantcc-by-nc-4.02022-07-28
איורים סרוקים מספרים ישנים עם תיאורים טקסטואליים ומטא-דאטה עשיר. מתאים למי שמחפש סגנון ויזואלי היסטורי ספציפי בלי לאסוף ולנקות חומרים מארכיונים בעצמו.
- 623הורדות בחודש
- 41לייקים
מה זה
המאגר כולל 4,172 רשומות שנאספו ונסרקו מאתר Old Book Illustrations במסגרת יוזמת BigLAM. כל רשומה מייצגת איור היסטורי ומכילה שתי גרסאות של התמונה: סריקה גולמית ישירות מהספר וגרסה מעובדת שנוקתה ועברה התאמת גודל לרוחב של 1600 פיקסלים.
לצד התמונות עצמן, המאגר מספק פירוט טקסטואלי נרחב עבור כל פריט. הנתונים כוללים שמות אמנים, תאריכי לידה, ארצות מוצא, כותרי ספרים, מוציאים לאור, תגיות, קישורים לרשומות ב־OpenLibrary, כתוביות מקוריות מהספר ותיאורים מילוליים מורחבים. הטקסטים נכתבו ברובם באנגלית, אך חלקם כוללים משפטים בשפות המקור של הספרים, בעיקר צרפתית וגרמנית.
המידע נאסף בהסכמת מנהלי האתר המקורי ומשקף את כל החומרים שהיו זמינים בו נכון לחודש יולי 2022. החלוקה בקבצים כוללת 14 קבצי Parquet שמכילים את סט האימון בשלמותו.
מתאים ל
- כוונון עדין ליצירת תמונות
התאמת מודלי דיפוזיה לסגנון וינטג' ואיורי ספרים עתיקים באמצעות שדות התמונה והתיאור.
- אימון מודלי כיתוב תמונה
הערכה ואימון של מודלי vision-to-text על תיאורים מפורטים של יצירות אמנות היסטוריות.
- חילוץ מטא-דאטה היסטורי
מחקר על הקשר בין מאיירים, מוציאים לאור ונושאי איור על בסיס נתוני הספרים והשיוך הגאוגרפי.
איפה זה נופל
גודל המאגר קטן יחסית, 4,172 איורים בלבד, כך שהוא לא מתאים לאימון מודל בסיס מאפס אלא בעיקר לכוונון עדין. התוכן סובל מהטיות תקופתיות ברורות שהאתר המקורי מצהיר עליהן מראש, כולל איורים שעלולים להיתפס כפוגעניים, מטעים או לא מדויקים היסטורית. אין במאגר עברית בכלל, והטקסטים מוגבלים לאנגלית עם מעט צרפתית וגרמנית. בנוסף, קיימות חריגות זכויות יוצרים נקודתיות באיורים מסוימים שאינם נחלת הכלל בכל המדינות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא. הרישיון המוגדר הוא cc-by-nc-4.0 שאינו מתיר שימוש מסחרי בנתונים. בנוסף, הטקסטים והאתר מוגנים ברישיון לא מסחרי, כך שכל תוצר ישיר מוגבל למחקר ושימוש אישי בלבד.
האם יש במאגר איורים או תיאורים בעברית?
לא, אין במאגר עברית כלל. שדות הטקסט כתובים באנגלית, ולעיתים כוללים משפטים או ציטוטים בצרפתית ובגרמנית כפי שהופיעו בספרים המקוריים.
האם כל התמונות שייכות לנחלת הכלל?
רובן כן, אך לא כולן. ישנן דוגמאות חריגות של ספרים שפורסמו בארצות הברית בשנות העשרים או מאיירים שנפטרו באמצע המאה העשרים שאינם בנחלת הכלל במדינות מסוימות.
מה ההבדל בין שדה rawscan לבין 1600px?
שדה rawscan כולל את קובץ הסריקה המקורי ללא שום עיבוד ידני או דיגיטלי. לעומת זאת, 1600px מציג גרסה שעברה ניקוי רקע והתאמת גודל לרוחב אחיד של 1600 פיקסלים.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה gigant/oldbookillustrations. הנתונים פתוחים להורדה מיידית ללא צורך בהרשמה מוקדמת או אישור גישה מיוחד. המאגר מפוצל ל־14 קבצי Parquet. בעבודה על מודלים של ראייה ממוחשבת ויצירת תמונה, כדאי לשים לב לשדות 1600px לתמונות המעובדות, rawscan לסריקות המקוריות, ו־image_caption או image_description עבור תיאורי הטקסט.
from datasets import load_dataset
ds = load_dataset("gigant/oldbookillustrations")הרישיון
המאגר מוגדר תחת רישיון cc-by-nc-4.0 שמחייב מתן קרדיט ואוסר שימוש מסחרי מכל סוג. הטקסטים באתר המקורי פורסמו תחת רישיון לא-מסחרי זהה. למרות שרוב התמונות עצמן נחשבות לנחלת הכלל בארה"ב ובאירופה, חלקן עדיין מוגנות בזכויות יוצרים לפי שנת פרסום או פטירת המאייר. אימון מודל על המאגר הזה שולל שילוב שלו במוצר מסחרי.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא