japanese-photos
קוד פתוחThePioneercc0-1.02024-07-26
אוסף של 11,810 תמונות נוף, רחוב, אוכל ותרבות מיפן שצולמו בשנים האחרונות. הוא מיועד למי שרוצה לאמן מודל ראייה על מראות אותנטיים בלי להסתבך עם זכויות יוצרים.
- 862הורדות בחודש
- 34לייקים
מה זה
המאגר מכיל 11,810 תמונות סטילס מקוריות בפורמט JPEG, כולן סביב רזולוציית 4K. הנתונים מתעדים מגוון רחב של מראות מיפן, החל מנופים עירוניים בערים שונות, דרך הרים, חופים, נהרות וכפרים, ועד לאתרים היסטוריים, תערוכות אמנות, סצנות מחיי היומיום ותצלומי אוכל ותפריטים ממסעדות ובתי קפה.
מקור התמונות אינו סריקה מהאינטרנט. יוצר המאגר העיד כי צילם את כל התמונות בעצמו במהלך שנות ה־2020, בעיקר בין 2022 ל־2024, עם חריגות בודדות בלבד. כרטיס המאגר לא מפרט תהליך סינון ידני או אוטומטי נוסף מעבר לבחירת התמונות שצולמו והועלו.
לכל קובץ תמונה מצורף קובץ טקסט עם סיומת caption שמכיל תיאור שנוצר אוטומטית באמצעות מודל הראייה BLIP. בנוסף קיים קובץ בשם metadata.json שמספק פרטים נוספים על התמונות, והכרטיס ממליץ למשתמשים להוסיף בעצמם קטגוריות, מיקומים ותיאורים ביפנית לפי הצורך.
מתאים ל
- אימון מודלי יצירת תמונה
כוונון מודלי דיפוזיה לייצור סצנות יפניות מודרניות, נופים ואוכל ברזולוציה גבוהה.
- זיהוי אתרים ואוביקטים
אימון מודלי ראייה ממוחשבת לסיווג מבנים היסטוריים, מאכלים ונופים טיפוסיים ליפן.
- הערכת תיאורי תמונה
בדיקת איכות של מודלי vision-language על סצנות יומיומיות מורכבות בעזרת המטא-דאטה.
איפה זה נופל
כל התמונות צולמו על ידי אדם אחד בלבד, מה שמייצר הטיה ברורה של זווית הצילום, העין של הצלם והמסלולים שבהם הוא בחר להסתובב. הכיתובים נוצרו אוטומטית באמצעות BLIP ללא תיוג ידני מאומת, ואין חלוקה מובנית לקטגוריות, תגיות מיקום מדויקות או כיתוב ביפנית. המאגר כולל רק תוכן שצולם בין 2022 ל־2024 ואינו מכיל עברית, כך שלא תוכלו להשתמש בו ישירות למשימות שפה מקומיות ללא עבודת תיוג משלימה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון הוא CC0 1.0, מה שאומר שהיוצר ויתר על כל זכויות היוצרים. אתם יכולים לאמן מודלים מסחריים ולהשתמש בתמונות ללא תשלום תמלוגים או בקשת אישור מראש.
כמה מקום צריך לפנות בדיסק בשביל להוריד אותו?
המאגר שוקל כ־28.9 גיגה-בייט בקובץ הדחוס. יש לוודא שיש מקום נוסף פנוי לחילוץ של 11,810 תמונות ברזולוציית 4K.
האם יש במאגר טקסטים או תיוגים בעברית?
לא. המאגר מוגדר לשפות אנגלית ויפנית בלבד, והתיאורים הקיימים מבוססים על כיתובי BLIP אוטומטיים באנגלית. אם אתם צריכים תיוג בעברית, תידרשו לתרגם או לייצר אותו בעצמכם.
איך התמונות נאספו?
התמונות לא נלקחו ממאגרי רשת או מנועי חיפוש. היוצר צילם אותן בעצמו במהלך שנות ה־2020, בעיקר בשנים 2022 עד 2024, ברחבי יפן.
איך טוענים
ההורדה נעשית ישירות מקובץ זיפ בעמוד המאגר ב־Hugging Face, ללא צורך בהרשמה מיוחדת או בקשת גישה. נפח ההורדה הכולל עומד על כ־28.9 גיגה-בייט, כך שצריך לוודא שיש מספיק שטח אחסון ורוחב פס יציב לפני שמתחילים. התמונות נשמרות כקבצי JPEG ברזולוציה גבוהה לצד קבצי כיתוב, וטעינתן מתבצעת ישירות דרך ספריית עיבוד תמונה סטנדרטית בשילוב קובץ המטא-דאטה.
from datasets import load_dataset
ds = load_dataset("ThePioneer/japanese-photos")הרישיון
המאגר שוחרר תחת רישיון CC0 1.0 Universal, שהוא נחלת הכלל. אתם רשאים להעתיק, לשנות, להפיץ ולהשתמש בתמונות לכל מטרה, כולל אימון מודלים מסחריים וסגורים, בלי לבקש רשות ובלי חובת ייחוס, אף שהיוצר ציין כי ישמח לקבל קרדיט.