genz-slang-dataset
קוד פתוחMLBtrioרישיון לא דווח2024-09-30
המאגר מרכז סלנג וקיצורים של דור ה־Z באנגלית לצורך אימון מודלים של יצירת טקסט. הוא מתאים למי שרוצה ללמד צ'אטבוט לדבר בשפה עדכנית של רשתות חברתיות בלי לאסוף דוגמאות לבד.
- 208הורדות בחודש
- 52לייקים
מה זה
הרשומות במאגר בנויות ממילון מונחים שכולל את הסלנג או הקיצור עצמו, הסבר קצר על המשמעות והניואנסים שלו, משפט או שיחה קצרה שמדגימים אותו בפועל, והקשר חברתי או תרבותי שמתאר איפה נהוג להשתמש בו. המטרה של המבנה הזה היא לתת למודל שפה לא רק את ההגדרה היבשה, אלא גם את האופן שבו המונח משתלב בשיח יומיומי דיגיטלי ברשתות ובפורומים.
המקורות מגיעים משילוב של שני מאגרים קיימים, אחד מקגל שמרכז קיצורים וסלנג מרשתות חברתיות, והשני פרויקט גיטהאב ייעודי למונחי דור ה־Z. היוצרים לקחו את הרשימות האלה והרחיבו אותן. הם הוסיפו את עמודות הדוגמה וההקשר בעזרת גירוד אתרים ציבוריים ושימוש במודלי בינה מלאכותית יוצרת, כך שחלק מהטקסט נוצר על ידי מכונה ולא נכתב כולו בידי משתמשים אמיתיים.
מתאים ל
- אימון צ'אטבוט לשיחה
כוונון עדין של מודלי שפה כדי שיידעו לפענח וליצור ביטויי סלנג עדכניים ברשתות.
- הערכת הבנת שפה ברשת
בדיקת היכולת של מודל קיים להבין קיצורים וסלנג מודרני מתוך משפטי דוגמה.
- בניית מילון מונחים דיגיטלי
חילוץ הגדרות והקשרים עבור מערכות לניתוח טקסט שמנטרות שיח צעירים באנגלית.
איפה זה נופל
הנתונים קיימים באנגלית בלבד ואין בהם מילה אחת בעברית או התאמה לסלנג מקומי. עמודות ההקשר והדוגמאות נוצרו בחלקן על ידי בינה מלאכותית יוצרת וגירוד רשת, מה שאומר שחלק מהשיחות עלולות להרגיש מלאכותיות, לא מדויקות או מנותקות מהאופן שבו צעירים מדברים במציאות. בנוסף, סלנג משתנה בקצב מהיר מאוד ברשתות, כך שרשימה שפורסמה בסוף 2024 תתיישן מהר ותאבד רלוונטיות, וצריך לבדוק ידנית את הדוגמאות לפני שמכניסים אותן למודל שמדבר עם לקוחות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
היוצרים לא הגדירו רישיון בדף המאגר. מבחינה משפטית זה אומר שאין אישור מפורש לשימוש מסחרי, וכל אימון של מודל למוצר מסחרי נעשה על אחריותכם בלבד.
האם יש במאגר ביטויים בעברית?
לא. כל הנתונים נאספו באנגלית ומשקפים סלנג אינטרנטי בינלאומי, ללא שום התאמה או תרגום לשפה העברית.
איך נוצרו הנתונים בפועל?
הבסיס מגיע ממאגרי Kaggle ו־GitHub קיימים של קיצורים וסלנג. היוצרים הוסיפו להם עמודות של דוגמאות והקשר באמצעות גירוד אתרים וכלי בינה מלאכותית יוצרת.
כמה שוקל המאגר ואיך מקבלים אליו גישה?
מדובר בקובץ CSV בודד עם פחות מעשרת אלפים רשומות, כך שהוא שוקל מגה-בייטים בודדים. אין צורך באישור מיוחד, מורידים אותו ישירות מדף הפרויקט.
איך טוענים
טוענים את הנתונים ישירות מקובץ ה־CSV שנמצא במאגר באמצעות ספריית datasets של Hugging Face, או שמורידים ידנית את all_slangs.csv וקוראים אותו בספריית pandas. אין צורך לבקש אישור גישה מראש או להמתין למפתח API, המאגר פתוח להורדה מיידית ברשת.
בפנים תמצאו ארבעה שדות מרכזיים שמגדירים כל רשומה: המונח, ההסבר, משפט הדוגמה וההקשר. המאגר מכיל פחות מעשרת אלפים שורות, כך שהוא שוקל מעט מאוד, נטען בשניות בודדות לזיכרון ואינו דורש תשתית עיבוד כבדה כדי לסנן או לעבד אותו.
from datasets import load_dataset
ds = load_dataset("MLBtrio/genz-slang-dataset")הרישיון
ליוצרים אין רישיון מוגדר במאגר, וזה משאיר את השימוש בו תחת סימן שאלה משפטי. כשאין רישיון מוצהר, ברירת המחדל של זכויות יוצרים חלה עליו, ולכן אסור להניח שמותר להשתמש בו לפיתוח מסחרי או לשלב אותו במוצר של חברה. אם אתם מתכננים לאמן עליו מודל למטרות רווח, קחו בחשבון שאין לכם הגנה משפטית.