BLIP3o-60k
קוד פתוחBLIP3oapache-2.02025-05-12
מדובר במאגר לכיוונון הנחיות של מודלי טקסט לתמונה, שזוקק ישירות מתוך GPT-4o. אם אתם מאמנים מודל גנרטיבי ורוצים דיוק גבוה יותר בהבנת הוראות מורכבות, כאן נמצא החומר.
- 1,296הורדות בחודש
- 40לייקים
מה זה
המאגר כולל בין עשרת אלפים למאה אלף דוגמאות שמיועדות לאימון מודלי יצירת תמונה על בסיס הנחיות. המידע מחולק לכמה קטגוריות ברורות לפי סוגי תוכן ומקורות. תמצאו שם תמונות וטקסטים מתוך JourneyDB, דוגמאות מבוססות Dalle3, וקטגוריות ייעודיות לבני אדם שכוללות מחוות גוף, מקצועות ותיאורים אנושיים על בסיס MSCOCO.
בנוסף, המאגר מכיל דוגמאות של חפצים יומיומיים, טקסט פשוט, וסט אימון מתוך Geneval, כאשר היוצרים מציינים במפורש שאין חפיפה עם סט הבחינה שלו. כל המידע עבר זיקוק דרך GPT-4o כדי לייצר הנחיות והתאמות ברורות יותר לתמונות.
מתאים ל
- אימון הוראות למודלי תמונה
שיפור היכולת של מודל יצירת תמונה להבין פרומפטים מורכבים בעזרת זיקוק איכותי.
- דיוק ביצירת דמויות אדם
שימוש בחלקים של human_gestures ו־MSCOCO כדי לדייק מחוות ומקצועות של אנשים.
- בנצ'מרק ואימון ל־Geneval
אימון על החלק הייעודי של Geneval בלי לחשוש מזליגת מידע לסט הבדיקה.
איפה זה נופל
הנתונים כולם באנגלית בלבד, ואין כאן שום תמיכה בעברית או בשפות אחרות. מעבר לזה, המאגר מבוסס על זיקוק מפלט של מודל קנייני, מה שעלול לשמר את ההטיות, העיוותים והמגבלות הוויזואליות של GPT-4o ושל המודלים שמהם נלקחו התמונות המקוריות. כרטיס המאגר קצר מאוד ולא מפרט על סינון תוכן פוגעני או בדיקות בטיחות שנעשו, כך שחובה לבדוק מדגמית מה יש בקבצים לפני שרצים לאמן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
המאגר מפורסם תחת רישיון Apache 2.0 שמתיר שימוש מסחרי מלא. יחד עם זאת, הנתונים נוצרו בזיקוק מתוך GPT-4o, ולכן מומלץ לוודא שאין התנגשות מול תנאי השימוש החיצוניים של ספק המודל. מבחינת בעלי המאגר עצמם, הרישיון חופשי.
האם יש במאגר תמיכה בעברית?
לא, המאגר כולו מוגדר וכתוב באנגלית בלבד. אם המטרה היא לאמן מודל שמבין הנחיות בעברית, תצטרכו לתרגם את הטקסטים בעצמכם או לשלב דאטהסט מקביל. אין כאן דוגמאות מקומיות או התאמה תרבותית לישראל.
איך המידע נאסף ונבנה?
היוצרים אספו תמונות ונתונים ממקורות קיימים כמו JourneyDB, MSCOCO ו־Dalle3, וחילקו אותם לקטגוריות נושאיות. לאחר מכן הם ביצעו תהליך זיקוק באמצעות GPT-4o כדי לייצר את ההנחיות והתיאורים. הסט של Geneval נוקה מראש כדי לוודא שאין חפיפה עם נתוני הבדיקה.
איך קוראים את הקבצים בלי לפתוח אותם ידנית?
הנתונים מאורגנים בארכיוני tar מחולקים לפי נושאים. אפשר להשתמש בספריית datasets עם פורמט webdataset ולטעון את כל קובצי ה־tar ישירות מהדיסק. השיטה הזו חוסכת מקום ושומרת על ביצועים גבוהים בזמן הטעינה.
איך טוענים
הנתונים מגיעים בארבעה ועשרים קבצים, שכוללים קובצי tar וקובצי txt תואמים כמו dalle3.tar או human_gestures.tar. הגישה פתוחה לגמרי ואין צורך בבקשת אישור. מורידים את המאגר ישירות עם snapshot_download של huggingface_hub. כדי לעבוד איתו לא חייבים לחלץ את הארכיונים, אפשר לטעון ישירות דרך ספריית datasets באמצעות webdataset עם data_files שמצביע על כל קובצי ה־tar.
from datasets import load_dataset
ds = load_dataset("BLIP3o/BLIP3o-60k")הרישיון
הרישיון המדווח הוא Apache 2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, בלי חובה לשתף את התוצרים באותו רישיון, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. עם זאת, מכיוון שהתוכן זוקק מתוך GPT-4o, כדאי לזכור את תנאי השימוש של יוצרי המודל המקורי בנוגע לשימוש בפלטים לאימון מודלים מתחרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים