esa-hubble
קוד פתוחSupermaxmancc-by-4.02023-02-22
המאגר כולל אלפי צילומי חלל עמוק מטלסקופ האבל באיכות גבוהה לצד תיאורים רשמיים באנגלית. הוא מיועד למי שרוצה לאמן מודלי תמונה מטקסט על אובייקטים אסטרונומיים אמיתיים ומדויקים.
- 964הורדות בחודש
- 17לייקים
מה זה
הנתונים מכילים 2,706 תמונות של חלל עמוק בפורמט PNG יחד עם תיאורים טקסטואליים ומטא דאטה עשיר. הטקסט מחבר כותרת ותיאור שנכתבו על ידי מומחי סוכנות החלל האירופית, ולצידם נשמר מידע תצפיתי כמו קואורדינטות שמימיות, מרחק, קבוצת כוכבים וקרדיטים. אין פה חלוקה לסטים של בדיקה או אימון, אלא סט יחיד שמיועד כולו לכוונון.
איסוף המידע נעשה מסריקת אתר ESA Hubble באמצעות Scrapy, תוך סינון ראשוני של תצפיות בדירוג סביר ומעלה ובגודל מינימלי של 400 על 300 פיקסלים. לאחר מכן נערך סינון אוטומטי וידני שהסיר הדמיות, תרשימים עם טקסט, גופים מתוך מערכת השמש ותמונות באיכות נמוכה מדי. תמונות ענק שחרגו מרוחב או גובה של 12,000 פיקסלים פוצלו לשניים, והן מסומנות בהתאם כדי שאפשר יהיה להרכיב אותן חזרה.
מתאים ל
- כוונון מודלי תמונה מטקסט
אימון משלים למודלים קיימים ליצירת גלקסיות וערפיליות ריאליסטיות.
- אימון מודלי ראייה לחלל
זיהוי וסיווג אובייקטים אסטרונומיים לפי נתוני המיקום והקבוצות.
- הפקת תמונות מדעיות
בניית כלי עזר גרפיים המבוססים על מונחים וקואורדינטות מדויקות.
איפה זה נופל
היוצר מציין במפורש שהסינון הידני לא היה מושלם, וסביר שעדיין נותרו בפנים תמונות שלא מתאימות לחלל עמוק. הטקסט קיים באנגלית בלבד, ובחלק גדול מהמקרים הניסוח מקצועי ואסטרונומי מדי עבור משתמש ממוצע שמזין פרומפטים רגילים. מעבר לזה, התמונות עברו חיתוך ופיצול כדי להקטין קבצי ענק, כך שחלקן מציגות רק מקטע של התצפית המקורית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון CC-BY 4.0 מאפשר שימוש מסחרי מלא, כולל אימון מודלים ושילובם באפליקציות. החובה היחידה היא לתת קרדיט נאות ל־ESA/Hubble ולשמור על שדות הקרדיט שמגיעים עם התמונות.
כמה מקום צריך בשביל להוריד את כל הדאטהסט?
המאגר שוקל 120 ג'יגה בייט כשהוא לא דחוס. בגלל המשקל הגבוה של קובצי התמונה, מומלץ לעבוד בהזרמה ישירה ולא להוריד את כל 200 קובצי ה־Parquet לדיסק המקומי.
האם הטקסט כולל תמיכה בעברית?
לא, כל התיאורים והכותרות נכתבו באנגלית בלבד על ידי הצוות של ESA. אם צריך פרומפטים בעברית, תצטרכו לתרגם את שדה הטקסט באופן עצמאי לפני האימון.
במה הוא שונה מדאטהסטים כלליים של תמונות?
במקום תמונות רשת רנדומליות ברזולוציה בינונית, יש פה סריקות אסטרונומיות ברזולוציה של אלפי פיקסלים לתמונה. בנוסף, כל פריט כולל מטא דאטה מדעי אמיתי כמו מרחקים וקואורדינטות טלסקופ.
איך טוענים
טעינת הדאטהסט כולו לזיכרון המקומי היא רעיון רע, כי הנפח הלא דחוס שלו עומד על 120 ג'יגה בייט. תמונה ממוצעת שוקלת 44 מגה בייט ומגיעה לרזולוציה של כ־2,881 על 3,267 פיקסלים, כך שחובה להשתמש בסטרימינג ישירות מהמאגר. הנתונים מחולקים ל־200 קובצי Parquet, פתוחים לגישה ללא צורך באישור, והשדות העיקריים שמעניינים מודלי יצירה הם image ו־text.
from datasets import load_dataset
ds = load_dataset("Supermaxman/esa-hubble")הרישיון
הרישיון הוא CC-BY 4.0, מה שמתיר שימוש מסחרי, שינוי והפצה של החומרים. התנאי המרכזי הוא מתן קרדיט ברור וגלוי ליוצרים המקוריים לפי ההנחיות של סוכנות החלל האירופית. הרישיון לא מחייב שיתוף באותם תנאים, ולכן מותר לאמן מודלים סגורים או מסחריים על בסיס הנתונים האלה.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס