SemiEvol

מה זה

הנתונים מורכבים מסדרות של קובצי CSV שמחולקים לפי דומיינים ומשימות. המקורות המרכזיים שהוגדרו מגיעים ממאגרים מוכרים כמו MMLU, MMLU-Pro, AdaptLLM, וכוללים קבצים מתוך ConvFinQA, FPB ו־PubMedQA. הרשומות מיועדות למשימות מענה על שאלות, בחירה מרובה ויצירת טקסט.

בתוך התיקיות תמצאו חלוקה מובנית לקובצי labeled.csv, unlabeled.csv ו־test.csv. המטרה של המבנה הזה היא לתמוך במסגרת אימון דו שלבית של הפצת ידע וסינון, כפי שמתואר במאמר של החוקרים. מעבר לרשימת המקורות וחלוקת הקבצים, כרטיס הדאטהסט לא מפרט תהליכי סינון ידניים או אוטומטיים שבוצעו על הטקסטים עצמם.

מתאים ל

• אימון חצי מונחה

  ניצול הקבצים הלא מתויגים לצד דוגמאות בודדות עם תיוג כדי לחסוך בעלויות דאטה.

• הערכת הסקת מסקנות

  בדיקת ביצועי מודל במענה על שאלות מורכבות בעזרת קובצי המבחן מתחומי הרפואה והפיננסים.

• התאמה לדומיין מקצועי

  כוונון עדין של מודלי שפה על טקסטים ייעודיים מתוך PubMedQA או ConvFinQA.

איפה זה נופל

הנתונים כולם באנגלית, בלי שום כיסוי לשפות אחרות או התאמה לעברית. הדאטהסט נשען על מקורות חיצוניים כמו טקסטים רפואיים מ־PubMedQA או פיננסיים מ־FPB, ולכן הוא סוחב איתו את ההטיות המקוריות של המאגרים האלה. יוצרי המאגר לא פירטו בכרטיס אילו מנגנוני ניקוי נעשו, כך שחובה לבדוק את איכות הדוגמאות הלא מתויגות לפני שמזינים אותן למודל בייצור.

איך טוענים

טוענים את הקבצים ישירות דרך ספריית datasets או בקריאת CSV רגילה בפנדס, לפי התיקייה הרצויה כמו ConvFinQA או PubMedQA. המאגר כולל 23 קבצים והגישה אליו פתוחה לחלוטין בלי צורך באישור מוקדם. לפני שמתחילים כדאי לשים לב להפרדה בין הקבצים המתויגים לאלה שלא, ולבדוק את שמות העמודות בכל קובץ כדי להתאים אותם לצינור האימון שלכם.

from datasets import load_dataset

ds = load_dataset("luojunyu/SemiEvol")

הרישיון

הרישיון שדווח במאגר הוא cc-by-4.0. המשמעות היא שמותר להשתמש בנתונים למטרות מחקר וגם למוצרים מסחריים, ובלבד שנותנים קרדיט מתאים ליוצרים. המאגר מבוסס על כמה מקורות חיצוניים, לכן מומלץ לוודא שאין תנאים מגבילים באותם מאגרי מקור אם אתם מאמנים מודל מסחרי סגור.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗