megalith-10m-florence2
קוד פתוחaipicassomit2024-07-29
תיאורי תמונות מפורטים שנוצרו באמצעות מודל ראייה ממוחשבת עבור מאגר התמונות החופשי Megalith-10M. הוא מיועד למי שרוצה לאמן מודלי תמונה-טקסט בלי להשקיע אלפי שעות GPU בתיוג עצמי.
- 96הורדות בחודש
- 26לייקים
מה זה
המאגר המקורי הכיל מיליוני תמונות ברישיון דמוי נחלת הכלל, אבל הגיע בלי שום טקסט שמתאר אותן. כאן לקחו את התמונות האלה, הריצו עליהן את Florence-2-large עם המשימה של תיאור מפורט במיוחד, ופרסמו את התוצאות כקובץ מטא-דאטה נפרד. ההפקה הזו דרשה 3000 שעות מעבד גרפי מסוג T4.
התוכן עצמו הוא טקסטואלי בלבד, מסודר בקובץ metadata.csv, ומתאים למשימות של ראייה ושפה. אין פה חלוקה מורכבת לקטגוריות שונות בכרטיס, אלא פשוט תיאורים באנגלית שנבנו במטרה לספק בסיס טקסטואלי עשיר לאימון מודלי יצירת תמונות או מודלי תיאור תמונה.
מתאים ל
- אימון מודלי יצירת תמונה
חיבור התיאורים המפורטים לתמונות המקור כדי לאמן מודלים שיוצרים תמונה מטקסט.
- אימון מודלי ראייה ושפה
בניית מודלים שמקבלים תמונה ולומדים לייצר לה תיאור טקסטואלי עשיר ומפורט.
- מחקר בתחום תיוג אוטומטי
בדיקה והערכה של איכות כיתובים שנוצרו באמצעות Florence-2 בקנה מידה רחב.
איפה זה נופל
כל התיאורים כאן נוצרו על ידי מכונה ולא נבדקו ידנית בידי אדם, מה שאומר שהזיות וטעויות זיהוי של Florence-2 נכנסו פנימה כמו שהן. הדאטהסט כולו באנגלית בלבד, ואין בו שום תמיכה בשפות אחרות או בעברית. בנוסף, מי שבונה על פרויקט מיידי יגלה שהוא מקבל רק חצי עבודה, כי צריך לנהל הורדה וסנכרון של מיליוני תמונות ממאגר נפרד לחלוטין.
שאלות
נפוצות
האם המאגר כולל את התמונות עצמן?
לא, המאגר כולל רק את קובץ המטא-דאטה עם התיאורים באנגלית. את התמונות עצמן צריך להוריד בנפרד דרך מאגר אחר באמצעות git clone.
האם מותר להשתמש בזה לפיתוח מסחרי?
כן, המאגר מפורסם תחת רישיון MIT שמאפשר שימוש מסחרי חופשי, כולל אימון מודלים למוצרים מסחריים. נדרש רק להשאיר את הצהרת זכויות היוצרים המקורית.
האם יש במאגר נתונים בעברית?
אין שום תוכן בעברית. כל התיאורים שהופקו על ידי המודל נוצרו באנגלית בלבד.
איך נוצרו התיאורים שמופיעים בדאטהסט?
היוצרים הריצו את מודל Florence-2-large של מיקרוסופט על תמונות המאגר Megalith-10M. הריצה השתמשה בהנחיה לקבלת תיאור מפורט ודרשה 3000 שעות GPU.
איך טוענים
טוענים אותו ישירות דרך ספריית datasets עם הפקודה load_dataset על המזהה של המאגר. הגישה פתוחה לחלוטין ואין צורך באישור מיוחד. הדבר הקריטי שחייבים לדעת הוא שהתמונות עצמן לא נמצאות כאן. כדי לקבל את התמונות צריך למשוך בנפרד מאגר אחר מ־Hugging Face באמצעות git lfs, ורק אז לחבר בין קובץ ה־CSV לבין הקבצים הגרפיים.
from datasets import load_dataset
ds = load_dataset("aipicasso/megalith-10m-florence2")הרישיון
הרישיון של המאגר הוא MIT, וזה אומר חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הקרדיט והודעת הרישיון המקורית. מודלים שתאמנו עליו אינם מחויבים ברישיון פתוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש