CLoT-Oogiri-GO
קוד פתוחzhongshshmit2024-03-14
מאגר נדיר של מעל 130,000 תגובות הומור אסוציאטיבי למשחק אווגירי בשלוש שפות. רובו המוחלט כולל דירוגי פופולריות אמיתיים של משתמשים, מעולה לאימון מודלים על שנינות וחשיבה לא שגרתית.
- 272הורדות בחודש
- 32לייקים
מה זה
המאגר מבוסס על משחק האווגירי היפני, שבו שחקנים נדרשים לספק תגובה מפתיעה ומצחיקה לתמונה, לטקסט או לשילוב של שניהם. החומרים מגיעים מפלטפורמות כמו Bokete היפנית ו־Zhihu הסינית, ומחולקים לשלושה קבצי jsonl לפי שפה: אנגלית, סינית ויפנית. כמעט 78% מהרשומות מגיעות עם כמות לייקים של קהל, מה שנותן מדד ברור להעדפת אנושית בלי צורך בתיוג ידני יקר.
המבנה מתחלק לשלושה סוגי קלט. יש מענה מתמונה לטקסט, מטקסט לטקסט, ומשילוב של תמונה וטקסט יחד. באנגלית יש רק תמונה לטקסט וטקסט לטקסט, בעוד שביפנית ובסינית יש גם רשומות משולבות. כל שורה בקובץ מכילה את סוג המשחק, שאלת הטקסט, מזהה התמונה שיושבת בקובץ נפרד, תשובת הטקסט המצחיקה ומספר הכוכבים שקיבלה.
מתאים ל
- אימון מודלי תגובה שנונים
לימוד מודלים רב-מודאליים לייצר כיתובים מצחיקים ולא צפויים לתמונות או שאלות.
- אימון מודלי תגמול והעדפה
שימוש במספר הלייקים כדי לאמן מודלים להעריך מה בני אדם מוצאים כמשעשע ופופולרי.
- מבחן ביצועים לחשיבה יצירתית
בדיקת יכולת המודל לחבר מושגים שונים בצורה אסוציאטיבית מעבר לתשובות עובדתיות רגילות.
איפה זה נופל
אין פה עברית בכלל, המאגר מוגבל לאנגלית, סינית ויפנית בלבד. הומור הוא עניין תלוי תרבות באופן קיצוני, ותגובות שנחשבות קורעות ברשת חברתית יפנית או סינית פשוט לא יעברו תרגום ישיר. מעבר לזה, המקורות הם אתרי תוכן גולשים כמו Bokete ו־Zhihu, מה שאומר שהנתונים לא עברו סינון שפה מוקפד ועשויים לכלול סלנג כבד, גסויות או בדיחות שחוקות. בנתונים באנגלית חסר לגמרי הפורמט המשולב של תמונה וטקסט יחד.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
לא מומלץ בכלל. למרות שמצוינים רישיונות חופשיים כמו MIT ו־CC-BY-4.0, החוקרים מציינים שהנתונים כפופים לתנאי השימוש של האתרים Bokete ו־Zhihu. מדובר בתוכן שנאסף ממשתמשים ברשתות אלה, כך שאימון מודל מסחרי חושף אתכם לסיכון של הפרת זכויות יוצרים.
האם יש נתונים בעברית בדאטהסט?
אין שום תוכן בעברית. המאגר מורכב אך ורק משלוש שפות: אנגלית, סינית ויפנית. אם המטרה היא יצירת הומור מקומי, תצטרכו לאסוף מידע בעצמכם או לבצע התאמות ותרגום שלא בהכרח ישמרו על הפאנץ'.
איך מחברים את קובץ התמונות לרשומות הטקסט?
מורידים את קובץ ה־images.zip ופורקים אותו מקומית. בכל רשומת jsonl שבה סוג הקלט כולל תמונה, שדה ה־image מכיל מזהה שמפנה ישירות לשם הקובץ המתאים בתיקיית התמונות.
מה היתרון שלו על פני מאגרי שאלות ותשובות רגילים?
במקום לחפש תשובה נכונה ועובדתית, המאגר מתמקד בתגובות הומוריסטיות שמבוססות על זינוק מחשבתי ואסוציאציות רחוקות. בנוסף, רוב הדוגמאות כוללות כמות לייקים אמיתית מהרשת, כך שיש מדד כמותי למה עובד על אנשים ומה לא.
איך טוענים
הנתונים יושבים בקבצי jsonl נפרדים לכל שפה יחד עם ארכיון תמונות מכווץ בשם images.zip. אין צורך לבקש אישור גישה והמאגר פתוח להורדה ישירה. השדות המרכזיים בכל שורה הם type לקביעת סוג הקלט, question, image שמפנה לקובץ התמונה המתאים, text שמכיל את הפאנץ', ו־star שמציג את הדירוג. קחו בחשבון שצריך לפרוק את התמונות ולחבר אותן לפי המזהים, וביפנית שאלות טקסט מסוימות מופיעות כריק כי השאלה עצמה כבר צרובה בתוך התמונה.
from datasets import load_dataset
ds = load_dataset("zhongshsh/CLoT-Oogiri-GO")הרישיון
יש פה בלגן משפטי שחייבים לשים אליו לב. המטא-דאטה מדווח על רישיון MIT, אבל הטקסט בכרטיס מציין CC-BY-4.0 ובאותה נשימה כפוף לתנאי השימוש של האתרים Bokete ו־Zhihu מהם התוכן נגרד. בגלל המקורות האלה, שימוש מסחרי במודל שמתאמן על הדאטהסט מסוכן מאוד ועלול להפר זכויות יוצרים של המשתמשים שכתבו את הבדיחות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש