allocine
קוד פתוחtblardmit2022-03-02
מאגר של מאתיים אלף ביקורות סרטים בצרפתית מאתר Allociné עם חלוקה שווה לחיובי ושלילי. הוא נותן בסיס מסודר ונקי לבדיקת מודלים של ניתוח סנטימנט בצרפתית בלי צורך לגרד ולתייג לבד.
- 905הורדות בחודש
- 21לייקים
מה זה
המאגר כולל מאתיים אלף ביקורות שנאספו מאתר הקולנוע הצרפתי Allociné בין השנים 2006 ל־2020. כל רשומה כוללת רק את טקסט הביקורת, שמוגבל לעד 2,000 תווים, ותווית בינארית של אפס לשלילי או אחת לחיובי. הדירוגים המקוריים באתר נעו בין 0.5 ל־5.0, כאשר ביקורות שקיבלו שתיים ומטה הוגדרו כשליליות, וביקורות עם ארבע ומעלה הוגדרו כחיוביות. ביקורות ניטרליות סביב שלוש הושמטו לגמרי בתהליך הסינון.
החלוקה הפנימית מפרידה סרטים שונים בין החלקים כדי למנוע דליפת מידע, כך שסרט שמופיע באימון לא יופיע בבדיקה. ישנם 160 אלף טקסטים לאימון, 20 אלף לאימות ועוד 20 אלף למבחן, עם יחס כמעט מדויק של חצי חיובי וחצי שלילי בכל קבוצה. האיסוף הוגבל לעד שלושים ביקורות לכל סרט כדי לשמור על גיוון.
מתאים ל
- אימון מסווג רגשות בצרפתית
מאפשר לאמן מודלים לזיהוי סנטימנט חיובי או שלילי בטקסטים צרפתיים עם תוויות מאוזנות מראש.
- הערכת ביצועי מודלי שפה
משמש כבנצ׳מרק אחיד ונקי לבדיקת דיוק של מודלי שפה שונים על משימת סיווג טקסט.
- ניתוח משוב של קהל
מתאים לזיהוי תגובות גולשים וביקורות על תכנים במערכות מדיה ובידור בצרפתית.
איפה זה נופל
ההטיה המרכזית נובעת ממחיקת האמצע. כיוון שהמאגר מכיל רק ציונים קיצוניים של עד שתיים או מעל ארבע, המודל שתאמנו לא ידע איך להתמודד עם שפה מורכבת, ביקורת פושרת או רגשות מעורבים. בנוסף, מדובר בסגנון כתיבה ייחודי של קהילת חובבי קולנוע באינטרנט הצרפתי, כולל ביטויים סלנגיים ואירוניה, שלא בהכרח מייצגים שירות לקוחות או שיח עסקי. שמות משתמשים לא נאספו, אך הטקסטים עצמם עשויים לכלול שמות של יוצרים ושחקנים, והסינון מבוסס על הניטור המקורי של האתר בלבד.
שאלות
נפוצות
האם המאגר כולל עברית?
לא, המאגר כולו כתוב בצרפתית בלבד ומבוסס על ביקורות שנאספו מאתר צרפתי. אם אתם מחפשים לאמן מודל לניתוח סנטימנט בעברית, המאגר הזה לא יתאים למשימה שלכם ללא תרגום מכונה, שאינו מומלץ לניתוח שפה עדין.
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הרישיון שמוגדר עבורו הוא MIT, המאפשר שימוש מסחרי מלא. אתם רשאים לאמן עליו מודלים ולשלב את התוצרים בתוך מוצרים מסחריים ללא תשלום תמלוגים, ובלבד שתשמרו על תנאי הרישיון ומתן הקרדיט המקורי.
איך נוצרו התוויות של חיובי ושלילי?
התוויות נגזרו ישירות מדירוג הכוכבים שנתנו הגולשים מתוך סולם של 0.5 עד 5.0. ביקורות שקיבלו שתיים ומטה סומנו כאפס, כלומר שליליות, וביקורות של ארבע ומעלה סומנו כאחת, כלומר חיוביות, תוך דילוג מוחלט על טווח האמצע.
במה הוא שונה ממאגרי ביקורות סרטים כמו IMDb?
הוא מיישם את אותו עיקרון בדיוק של IMDb, אך מתמקד בשפה הצרפתית במקום באנגלית. ההבדל המרכזי בעיבוד הוא חיתוך אורך הטקסט לעד אלפיים תווים והפרדה מלאה של סרטים בין חלקי האימון והבדיקה כדי למנוע הטיה.
איך טוענים
המאגר מחולק לשלושה קובצי Parquet מוכנים עבור train, validation ו־test, כך שאין צורך לעבד קבצים גולמיים או לבצע פיצולים ידנית. טוענים אותו ישירות דרך ספריית datasets באמצעות המזהה tblard/allocine, ללא שום צורך בהרשמה מוקדמת, טופס גישה או אישור מהיוצר.
מבנה הנתונים מינימליסטי וכולל רק את השדות review ו־label. כיוון שהטקסטים מוגבלים מראש באורכם וסך הרשומות עומד על מאתיים אלף, הקבצים יורדים במהירות ואינם דורשים זיכרון חריג או חומרה ייעודית. מספיק מחשב סטנדרטי כדי לטעון את כל הפיצולים ולהתחיל אימון.
from datasets import load_dataset
ds = load_dataset("tblard/allocine")הרישיון
המאגר מופץ תחת רישיון MIT. המשמעות היא חופש מלא להשתמש בו, לשנות אותו, לבנות עליו מודלים ולשלב אותם במוצרים מסחריים או מחקריים. הדרישה היחידה היא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בתיעוד. הרישיון אינו כופה עליכם לשחרר את המודלים המאומנים או קוד המקור שלכם באותו האופן.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש