PetraAI

מה זה

המאגר מציג מבנה שמחולק קודם כל לפי שפות לתיקיות ar ו en. בתוך כל תיקיית שפה יש תתי תיקיות לפי משימות שונות, ביניהן תרגום, סיכום טקסט, שיחה, סיווג טקסט, שאלות ותשובות על טבלאות ועוד שורה ארוכה של משימות מולטימודליות כמו ראייה ממוחשבת, עיבוד שמע וגרפים. התגיות של המאגר מצביעות על תחומי תוכן כמו קוד, רפואה, משפטים, פיננסים, ביולוגיה וכימיה.

עם זאת, הכרטיס שפורסם כמעט ריק מפרטים טכניים מהותיים. אין בו הסבר מאיפה הנתונים נאספו בפועל, באילו כלים הם עברו סינון או ניקוי, ואיך הרשומות עצמן מובנות בתוך הקבצים. בנוסף לתיקיות השפה, המאגר כולל 230 קבצים וביניהם קובצי קוד בשמות כמו Additional algorithm בפורמטים של cpp ו py, לצד קובץ מחברים, בלי פירוט לגבי התפקיד שלהם לצד הדאטה.

מתאים ל

• אימון מודלים בערבית

  אימון ובדיקה של מודלי שפה עבור משימות תרגום, שיחה וסיכום טקסט בערבית ובאנגלית.

• מחקר על משימות טבלאיות

  הערכת ביצועים של מודלים על שאלות ותשובות מבוססות טבלאות לפי החלוקה הפנימית במאגר.

• ניסויי סיווג רב תחומיים

  בדיקת יכולות סיווג בשיטת zero shot על תחומי תוכן כמו רפואה, משפט ופיננסים.

איפה זה נופל

הבעיה המרכזית כאן היא חוסר תיעוד מוחלט. הכרטיס לא מפרט מה מקור המידע, האם הוא נסרק מהרשת, סונן מהטיות או מוגן בפרטיות. אין עברית במאגר, רק ערבית ואנגלית. שמות החוקרים בציטוט נשארו כטקסט ברירת מחדל של First Last, ואין קישור למאמר אמיתי. בנוסף, רשימת המשימות כוללת עשרות תחומים שונים לחלוטין כמו רובוטיקה, שמע ותמונה לצד קובצי קוד, מה שמעלה סימן שאלה גדול לגבי האיכות והעקביות של הדאטה. חובה לבדוק ידנית מדגם לפני שמשלבים אותו במערכת אמיתית.

איך טוענים

אין צורך באישור גישה מיוחד כדי להוריד את הקבצים מהמאגר של Hugging Face. הנתונים מחולקים לפי תיקיות של שפה ומשימה, אבל בגלל שהמאגר מכיל 230 קבצים שכוללים גם קובצי קוד מקור כמו cpp ו py, לא מדובר במבנה טבלאי פשוט של שורה מול עמודה. לפני שרצים לטעון אותו לתוך סביבת עבודה, כדאי לגשת למאגר ישירות, לבדוק את הפורמט הפנימי של התיקייה הספציפית שמעניינת אתכם ולוודא שהמבנה מתאים לסקריפט האימון שלכם.

from datasets import load_dataset

ds = load_dataset("PetraAI/PetraAI")

הרישיון

הרישיון המדווח הוא Apache 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הנתונים והפצה שלהם, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי. מודל שתאמנו על הדאטהסט לא מחויב להיפתח בקוד פתוח. יחד עם זאת, מאחר שמקורות המידע המקוריים לא מפורטים, האחריות המשפטית על התוכן עצמו נשארת אצלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗