negation-dataset
קוד פתוחjinaaiapache-2.02023-07-13
יש כאן גם סקירה על Jina AI עצמו.
מאגר שמספק שלשות טקסט ללימוד שלילה באנגלית, ישירות מבית ג'ינה. הוא מיועד למי שרוצה לשפר מודלי שיכוך שלא מבינים סתירות פשוטות.
- 368הורדות בחודש
- 24לייקים
מה זה
הנתונים מורכבים משלשות של משפטים שכוללות עוגן, משפט תומך ומשפט שולל. העוגן והמשפט התומך נלקחו ישירות מתוך המאגר המוכר של SNLI, שבו הם מהווים צמדים חיוביים בעלי שוני תחבירי. הדוגמה השלילית, שנועדה לסתור את שני האחרים, נוצרה באופן מלאכותי בעזרת המודלים של GPT-3.5 ושל GPT-4. המשפט השולל נכתב כך שהוא דומה מאוד תחבירית למשפט התומך כדי לאלץ את המודל להתמקד במשמעות השלילה ולא במבנה החיצוני של המילים.
המאגר מחולק לשני חלקים בלבד, כאשר קובץ האימון כולל 10000 רשומות וקובץ המבחן מכיל 500 רשומות. מפתחי המאגר השתמשו בנתונים האלה כדי לכוונן את מודלי השיכוך שלהם, ומלבד צמדי המשפטים והשלילות הסינתטיות אין כאן מטה-דאטה נוסף או סימוני תוכן מורכבים.
מתאים ל
- אימון מודלי שיכוך
כוונון עדין של מודלי וקטורים כדי למנוע קירוב שגוי בין משפט לבין השלילה הישירה שלו.
- בדיקת ביצועי הבנת שלילה
הרצת 500 דוגמאות המבחן על מודל קיים כדי למדוד עד כמה הוא מזהה סתירות סמנטיות.
- אימון פונקציות דירוג
שימוש בשלשות כדי לאמן מודלים להבדיל בין טקסט רלוונטי לטקסט שמציג עובדה הפוכה.
איפה זה נופל
המאגר מוגבל לשפה האנגלית בלבד, ואין בו שום תמיכה בעברית. בנוסף, כל הדוגמאות השליליות נוצרו בידי מודלי שפה מלאכותיים ולא נבדקו בידי בני אדם לפי התיעוד הקיים, מה שעלול להכניס הטיות ניסוח או שגיאות לוגיות של המודלים המייצרים. אם אתם בונים מערכת שמבוססת על שפות אחרות או זקוקים לנתוני אמת אנושיים, המאגר הזה פשוט לא יתאים למשימה שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הרישיון הוא apache-2.0 ומאפשר שימוש מסחרי מלא. צריך רק לשמור על תנאי הייחוס והעתק הרישיון.
האם המאגר כולל טקסטים בעברית?
לא, המאגר הוא באנגלית בלבד. הנתונים מבוססים על SNLI ותרגום הדוגמאות השליליות נוצר במקור באנגלית.
איך נוצרו הדוגמאות השליליות בנתונים?
צוות הפיתוח לקח צמדים חיוביים מתוך SNLI והשתמש ב־GPT-3.5 וב־GPT-4 כדי לייצר סתירות. המשפטים השליליים נבנו כך שיהיו דומים תחבירית למשפט התומך אך יהפכו את המשמעות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הנתיב jinaai/negation-dataset, ללא צורך באישור גישה מראש. נפח ההורדה עומד על 1467517 בתים, כך שמדובר בקבצים קטנים מאוד שנשמרים כברירת מחדל בפורמט של קובצי tsv. בכל רשומה יש שלושה שדות טקסט בלבד בשם anchor, entailment ו־negative, כך שאין צורך בעיבוד מקדים מיוחד כדי להזין אותם לפונקציית הפסד של שלשות.
from datasets import load_dataset
ds = load_dataset("jinaai/negation-dataset")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים. מותר לאמן עליו מודלים לצרכים פנימיים או מסחריים בלי חובה לפתוח את הקוד שלכם, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים