cc_sbu_align
קוד פתוחVision-CAIRרישיון לא דווח2023-04-19
מאגר קטן של 3,500 זוגות תמונה וטקסט שנבנו בשיחה עם מודלי שפה. הוא מיועד לכוונון עדין של מודלי ראייה ושפה כדי לייצר תשובות קוהרנטיות.
- 289הורדות בחודש
- 45לייקים
מה זה
המאגר כולל 3,500 זוגות תמונה וטקסט בלבד, שנבנו כדי לשפר את יכולת השיחה של מודל MiniGPT-4 בשלב האימון השני שלו. הטקסטים לא נלקחו ישירות מרחבי הרשת כפי שהם, אלא נוצרו בשילוב בין המודל עצמו לבין ChatGPT, במטרה לתקן משפטים קטועים וחזרתיים שהמודל פלט אחרי אימון מקדים על מיליוני זוגות נתונים גולמיים.
התוכן מאורגן בתבנית שיחה ומכיל תיאורי תמונות, פתרון בעיות, כתיבת שירים וסיפורים סביב תמונות, ופרטים עובדתיים. בין הקבצים במאגר אפשר למצוא דוגמאות כמו תמונות פרסומת, בישול ועובדות, שממחישות את המשימות שעליהן כיוונו החוקרים. הנתונים מתמקדים באיכות הניסוח וביישור קו סגנוני של מודל השפה ולא בכיסוי רחב של מושגים חזותיים חדשים.
מתאים ל
- כוונון שיחה למודלי ראייה
אימון שלב שני לחיבור בין מפענח חזותי למודל שפה, כדי למנוע חזרות ולקבל תיאורים שוטפים.
- בניית דמו חזותי מהיר
הרצת מודל רב-תחומי על חומרה צנועה יחסית תוך ניצול נתונים שמתאימים למשימות שיחה כלליות.
- מחקר על דאטה סינתטי
בדיקת ההשפעה של כמות קטנה של נתוני איכות שנוצרו במודלי שפה על ביצועי מודל גדול.
איפה זה נופל
גודל המאגר זעיר, רק 3,500 דוגמאות, כך שהוא לא מלמד מושגים ויזואליים חדשים אלא רק סגנון שיחה. כל הטקסטים מיוצרים באופן סינתטי על ידי שילוב של המודל ו־ChatGPT, מה שעלול לשמר הזיות או ניסוחים מלאכותיים. השפה היא אנגלית בלבד, ואין שום ייצוג לעברית או להקשרים מקומיים ישראליים. תצטרכו לבדוק היטב עובדות לפני שילוב במערכת פעילה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
הרישיון של המאגר אינו מדווח ישירות בעמוד הנתונים, ולכן יש סיכון משפטי בשימוש מסחרי. בנוסף, הנתונים נוצרו בעזרת ChatGPT, מה שעשוי להטיל מגבלות שימוש נוספות. מומלץ להגביל את השימוש למחקר ובדיקות בלבד.
האם יש במאגר תמיכה בעברית?
לא, כל הדוגמאות והטקסטים נוצרו באנגלית. כדי לעבוד בעברית תצטרכו לתרגם את הנתונים או להשתמש במודל שפה חיצוני שמסוגל לעבד עברית אחרי שלב הצימוד.
איך אספו ויצרו את הנתונים?
היוצרים לקחו תמונות וחיברו אותן לטקסטים שנוצרו בשיתוף פעולה בין המודל שלהם לבין ChatGPT. המטרה הייתה לקבל תיאורים ארוכים, קוהרנטיים ומנוסחים היטב בתבנית שיחה.
במה הוא שונה ממאגרי תמונות וטקסט רגילים?
בניגוד למאגרי ענק כמו LAION שמכילים מיליוני כתוביות קצרות ורועשות מהרשת, כאן מדובר ב־3,500 זוגות בלבד. הדגש הוא על איכות הטקסט והתאמתו לצ'אט ולא על כמות או מגוון חזותי רחב.
איך טוענים
המאגר מאוחסן בפורמט קבצים ישיר בגיטהאב ובאירוח הייעודי, וכולל 152 קבצים עם דוגמאות להרצה מקומית. אין צורך בבקשת אישור גישה מיוחדת להורדה. כדי להשתמש בו לאימון לפי התיעוד, משלבים אותו עם קוד המקור של MiniGPT-4 ומודל בסיס של Vicuna, ומריצים את סקריפט האימון לשלב השני.
from datasets import load_dataset
ds = load_dataset("Vision-CAIR/cc_sbu_align")הרישיון
הרישיון בדף המאגר עצמו אינו מדווח, למרות שבתיעוד הפרויקט מצוין רישיון קוד פתוח מסוג BSD 3-Clause לקוד. חוסר הגדרה מפורשת של רישיון לנתונים משאיר שטח אפור משפטי. לא כדאי להשתמש בו למוצר מסחרי בלי בדיקה משפטית או הבהרה מהיוצרים.