Arabic_Aya
קוד פתוח2A2Iapache-2.02024-02-13
המאגר מרכז תרגומים והתאמות של אוסף Aya לערבית עבור משימות סיווג, סיכום ותרגום. מפתחים פונים אליו כדי לקבל נתוני אימון מגוונים בערבית בלי לחלץ אותם ידנית מתוך האוסף הרב לשוני המקורי.
- 1,620הורדות בחודש
- 16לייקים
מה זה
הנתונים מורכבים מזוגות של קלט ומטרה בערבית, ומכסים מגוון רחב של משימות כמו סיכום טקסט, ניתוח רגש, מענה לשאלות ותרגום. כל רשומה כוללת לרוב את הטקסטים עצמם לצד מזהי תבנית, סוג המשימה ושם תת המאגר המקורי שממנו המידע נלקח.
המבנה הפנימי מחולק למספר תצורות שמקורן בפרויקט Aya של CohereForAI. יש כאן שילוב בין תרגומים מכונה של סטים מוכרים כמו CNN Dailymail, HotpotQA ו־Dolly, לצד תבניות מובנות כמו AfriSenti ו־Mintaka, וחלק קטן יותר של דאטה שעבר תיוג או עריכה בידי אדם.
הסינון מתמקד בחיתוך של השפה הערבית מתוך הפרויקט הרחב. רוב המידע נוצר מהסבה אוטומטית או תרגום מונחה תבניות של מקורות קיימים באנגלית, כאשר גודל התצורות משתנה ממאות רשומות בודדות ועד למיליוני דוגמאות בסטים הגדולים.
מתאים ל
- אימון הוראות בערבית
כוונון עדין של מודלי שפה למענה על הוראות והבנת שאלות בערבית מבוססות תבנית.
- סיכום טקסטים אוטומטי
לימוד מודלים לתמצות כתבות חדשות ופסקאות ארוכות באמצעות סטים כמו cnn_dailymail.
- סיווג טקסט ורגש
בניית מסווגים לזיהוי רגשות וניתוח כוונות על בסיס נתונים מתורגמים ומתובנתים.
איפה זה נופל
חלק ניכר מהמידע מתבסס על תרגום מכונה של סטים באנגלית, מה שעלול לייצר ערבית מלאכותית, שגיאות תחביר ותרגום מילולי בעייתי. הכיסוי האנושי האותנטי מצומצם מאוד ביחס לנפח הכללי, כך שמרבית הדוגמאות אינן משקפות ניבים מקומיים אלא שפה סטנדרטית או מתורגמת. בנוסף, הסטים כוללים הטיות מובנות מתוך מאגרי המקור כמו Dolly או ויקיפדיה, ויש לבדוק את איכות התוצרים לפני שמבססים עליהם מודל לאינטראקציה חופשית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון Apache 2.0 מאפשר שימוש מסחרי מלא כולל אימון מודלים סגורים. התנאי העיקרי הוא מתן קרדיט ושמירה על תנאי הרישיון המקוריים בקבצים הנגזרים.
האם המאגר כולל טקסטים בעברית?
לא, המאגר מוגדר וממוקד כולו בשפה הערבית. אין בו רשומות או תיוגים בעברית.
איך הנתונים נאספו?
המאגר מבוסס על פרויקט Aya של CohereForAI, ומקבץ את החלקים בערבית מתוכו. רוב המידע נוצר מתרגום מכונה ומתבניות של דאטהסטים קיימים באנגלית, לצד חלק קטן של תיוג אנושי.
כמה המאגר גדול והאם חייבים להוריד הכל בבת אחת?
האוסף הכולל מכיל מיליוני רשומות שמחולקות לעשרות קונפיגורציות נפרדות. אפשר וכדאי לטעון רק את התת מאגרים הרלוונטיים למשימה שלכם במקום להוריד את כל עשרות הגיגה בייטים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון שם המאגר ושם התצורה הספציפית שרוצים למשוך. המאגר ציבורי ופתוח לחלוטין ללא צורך באישור גישה מראש. הקבצים שמורים בפורמט Parquet, כאשר הסט כולו מחולק לעשרות תצורות שונות. בעת הטעינה כדאי להתמקד בשדות inputs ו־targets שמחזיקים את הטקסט, ולשים לב שחלק מהקונפיגורציות שוקלות גיגה בייטים בודדים בעוד שאחרות קטנות מאוד.
from datasets import load_dataset
ds = load_dataset("2A2I/Arabic_Aya")הרישיון
המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי, מחקרי, שינוי והפצה של הנתונים. מותר לאמן עליו מודלים לצרכים פנימיים או מסחריים, ובלבד ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובת שיתוף של מודלים מאומנים תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים