snips_built_in_intents
קוד פתוחsonos-nlu-benchmarkcc0-1.02022-03-02
המאגר כולל 328 משפטים קצרים באנגלית שמחולקים לעשר כוונות משתמש. הוא נבנה במקור כבנצ'מרק להשוואה בין סייענים קוליים, ומתאים לבדיקה מהירה של מודל סיווג טקסט.
- 1,508הורדות בחודש
- 14לייקים
מה זה
כל רשומה מורכבת משני שדות בלבד, טקסט של הפקודה ותווית מספרית של הכוונה. מדובר בדוגמאות קצרות ויומיומיות שמדמות בקשות של משתמשים לרמקול חכם או לצ'אטבוט, כמו בקשת מסלולי נסיעה.
הצוות העסקי של חברת Snips חיבר את השאילתות האלה בעצמו. לפי התיעוד המקורי, שמרו אותן בסוד מהמהנדסים ומאנשי הדאטה בזמן הפיתוח כדי למנוע דליפת נתונים, אבל אין פירוט מעבר לכך על אופן הניסוח, הסינון או ההחלטה על התוויות.
במאגר אין חלוקה מראש לאימון ולבדיקה. כל 328 הדוגמאות מרוכזות בקובץ אחד, כך שאם אתם מתכננים להריץ מבחן תקין, תצטרכו לחתוך את הדאטה בעצמכם.
מתאים ל
- בדיקת שפיות למסווג כוונות
הרצה מהירה של מודל סיווג טקסט על 328 משפטים כדי לראות אם הזיהוי הבסיסי עובד לפני מעבר לדאטהסט גדול.
- השוואת ביצועים קיימים
מדידת הדיוק של מנועי הבנת שפה שונים מול בנצ'מרק היסטורי מוכר שנשמר ללא שינוי.
- הדגמות ותרגול בקוד
שימוש בקובץ מזערי שנטען מיד כדי לכתוב דוגמאות קוד או לבדוק תהליכי אימון ראשוניים.
איפה זה נופל
גודל הדאטה הוא המגבלה הכי גדולה פה, יש בו רק 328 רשומות, ואי אפשר לאמן עליו מודל מאפס. הוא מתאים אך ורק להערכה או כחלק מבדיקת שפיות קטנה. בנוסף, הנתונים הם באנגלית בלבד ואין פה עברית בכלל. הכרטיס לא מפרט אילו הטיות קיימות, מיהם המתייגים או אילו כוונות בדיוק מיוצגות בכל מספר, והעבודה המקורית פורסמה כבר ב־2018 כך שהניסוחים משקפים את התקופה ההיא.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט במוצר מסחרי?
כן, הרישיון הוא CC0 1.0, שמוותר על זכויות היוצרים ומאפשר שימוש מסחרי חופשי לחלוטין. מותר לכם לבנות עליו מודלים או לשלב אותו במערכות פנימיות בלי לשלם תמלוגים או לפרסם את הקוד שלכם.
האם יש כאן תמיכה בעברית?
לא, כל 328 המשפטים כתובים באנגלית בלבד. אם המוצר שלכם מיועד למשתמשים ישראלים בעברית, המאגר הזה לא יעזור לכם בלי תרגום והתאמה מלאה של הישויות והניסוחים.
מאיפה הגיעו המשפטים האלה?
הדאטה נוצר בתוך חברת Snips על ידי הצוות העסקי שלהם, לצורך בדיקה עיוורת של עוזרות קוליות. הצוות שמר את המשפטים בסוד מהמפתחים של החברה באותה תקופה, אך מעבר לפרט הזה הכרטיס לא מספק מידע על הפרופיל של מי שכתב אותם.
כמה שטח אחסון הדאטהסט הזה דורש?
כמעט כלום. המאגר כולל קובץ Parquet יחיד שמכיל 328 שורות טקסט קצרות, כך שהמשקל שלו זניח והוא יורד למחשב תוך פחות משנייה.
איך טוענים
טוענים את המאגר ישירות בעזרת הספרייה של Hugging Face בלי שום צורך באישור גישה או מפתח. המאגר קטנטן, מדובר בקובץ Parquet בודד בתוך תיקיית הדאטה, ולכן הטעינה לוקחת שניות בודדות. השדות שמעניינים אתכם הם text שמכיל את המשפט, ו־label שמכיל את המספר המזהה של הכוונה.
from datasets import load_dataset
ds = load_dataset("sonos-nlu-benchmark/snips_built_in_intents")הרישיון
המאגר מופץ תחת רישיון שחרור לנחלת הכלל, CC0 1.0 Universal. מותר להשתמש בו לכל מטרה, כולל מוצרים מסחריים ואימון מודלים, בלי חובת ייחוס חוקית ובלי מגבלות על אופי הרישיון של המודל שתבנו. עם זאת, יוצרי המאגר מבקשים לתת ציטוט אקדמי למאמר שלהם אם אתם מפרסמים מחקר שמבוסס עליו.