Puffin-4M
קוד פתוחKangLiaoרישיון לא דווח2025-10-03
ארבעה מיליון חיבורים בין תמונה, תיאור טקסטואלי ופרמטרים של מצלמה. החומר פונה למי שמפתח מודלים להבנה מרחבית, חיזוי נקודות מבט ויצירת תלת ממד מתמונות.
- 431הורדות בחודש
- 35לייקים
מה זה
המאגר מציע ארבעה מיליון שלשות של תמונה, טקסט ונתוני מצלמה מדויקים, ומיועד למשימות הבנה ויצירה סביב נקודות מבט של מצלמה. הרשומות כוללות תמונות ממבט יחיד לצד פרמטרים מרחביים, כיתובים תיאוריים מפורטים, מפות מצלמה ברמת הפיקסל והערות להסקה מרחבית. הנתונים מתעדים מגוון סביבות פנים וחוץ, ובנוסף מכילים תמונות ממבטים צולבים ותמונות אסתטיות שמיועדות לאימון מודלים מולטימודליים מתקדמים.
המבנה מחולק לנתוני אימון ולחלק המיועד לבנצ'מרק בשם Puffin-Gen, המכיל קובצי פרמטרים שמורים בסיומת pt. החוקרים מציינים כי לצד תמונות רגילות שולבו דוגמאות למשימות כמו חקר עולם, דמיון מרחבי והנחיה צילומית. הכרטיס לא מפרט את מקורות התמונות המקוריים או שיטות הסינון והניקוי שהופעלו עליהן.
מתאים ל
- הבנת מצלמה מתמונה
חילוץ פרמטרי צילום, זוויות צילום ומיקום מרחבי מתוך תמונות פנים וחוץ יחידות.
- יצירת תמונה מכיוון נבחר
אימון מודלים גנרטיביים לייצור תמונות על בסיס הנחיית טקסט ומיקום מצלמה מוגדר.
- הערכת הסקה מרחבית
בדיקת ביצועים של מודלים רב-תחומיים במשימות תלת ממד באמצעות קובצי הבנצ'מרק המובנים.
איפה זה נופל
הכרטיס שותק לגבי מקור התמונות, תאריכי האיסוף והמגבלות התרבותיות שלהן. אין תיעוד לשפות נוספות מלבד אנגלית, ולכן הנחות העבודה והכיתובים אינם מותאמים לשימוש בעברית. היעדר מפות המצלמה בקבצים הגולמיים דורש חישוב מקומי כבד של טרה-בייטים לפני שמתחילים לעבוד על משימות מסוימות.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצרים מסחריים?
הרישיון הרשמי מוגדר כ־NTU S-Lab License 1.0 ולא כרישיון קוד פתוח סטנדרטי. חובה לעיין בקובץ LICENSE המצורף כדי לבדוק הגבלות מסחריות לפני אימון מודל לחברה.
כמה מקום אחסון צריך בפועל כדי לעבוד איתו?
ההורדה הבסיסית שוקלת כ־449GB עבור התמונות והבנצ'מרק. אם תרצו לחשב את כל מפות המצלמה ברמת הפיקסל באמצעות הסקריפט, תזדקקו לכ־11.4 טרה-בייט נוספים של נפח דיסק.
האם הנתונים כוללים עברית?
לא. הכיתובים וההנחיות נכתבו באנגלית בלבד. כדי לתמוך בעברית תצטרכו לתרגם את הטקסטים או להסתמך על מודל בסיס ששולט בשפה.
במה הוא נבדל ממאגרי תמונות רגילים?
רוב המאגרים כוללים רק תמונות ותיאורים. כאן כל תמונה מלווה בפרמטרים מדויקים של המצלמה והערות גאומטריות שמאפשרות חישוב מרחבי.
איך טוענים
מורידים את המאגר כולו בפקודת hf download KangLiao/Puffin-4M עם repo-type dataset. המשקל הכולל מגיע לכ־449GB והוא פרוס על פני 4,969 קבצים, ללא צורך בבקשת גישה מיוחדת.
קובצי מפות המצלמה ברמת הפיקסל לא הועלו ישירות לשרת עקב משקל כולל של כ־11.4 טרה-בייט. מי שזקוק למפות אלו יידרש לייצר אותן מקומית באמצעות סקריפט ייעודי ממאגר הגיטהאב של המיזם.
from datasets import load_dataset
ds = load_dataset("KangLiao/Puffin-4M")הרישיון
בעמוד הראשי לא דווח רישיון רשמי במטא-דאטה, אך הטקסט והקבצים מציינים רישיון בשם NTU S-Lab License 1.0. תנאי הרישיון הזה דורשים בדיקה ידנית בקובץ המצורף לפני שימוש בפרויקט, במיוחד כדי להבין אם הוא חוסם יישומים מסחריים או כובל מודלים מאומנים בהגבלות שימוש.