COIG-PC-core
קוד פתוחBAAIunknown2023-09-19
מאגר הוראות מקיף בסינית לאימון מודלי שפה על משימות מגוונות. מי שמאמן מודל להבנה או ליצירת טקסט בסינית ימצא כאן שילוב מנופה של מאגרי מידע קיימים מרחבי הרשת.
- 626הורדות בחודש
- 29לייקים
מה זה
המאגר מאגד נתונים שנאספו ממאגרים שונים ברשת במטרה לכסות כמעט כל דאטהסט ציבורי זמין בסינית. בסיס המידע נשען על נתונים שסיפקה חברת stardust.ai, ועבר ניקוי ידני, סינון כפילויות ונרמול כדי למנוע חזרתיות ולהבטיח מבנה אחיד למשימות הוראה. הפרויקט נבנה בשיתוף פעולה בין BAAI ומומחים מיותר מעשרים מוסדות אקדמיים, בהם אוניברסיטת פקינג, HKUST, אוניברסיטת ווטרלו ואוניברסיטת שפילד.
כל רשומה מייצגת משימה ספציפית וכוללת הנחיה ברורה, קלט לביצוע ופלט צפוי. הרשומות מתפרסות על משימות שונות כמו תרגום, ניתוח סנטימנט, חילוץ מידע ויצירת טקסט, כאשר לכל אחת מוצמדים שדות מטא דאטה שמגדירים את תחום התוכן, סוג המשימה והחלוקה המקורית של הנתונים. מי שמחפש גרסה מצומצמת יותר לבדיקות יכול לפנות לתת המאגר COIG-PC-Lite שמכיל מאתיים דוגמאות בלבד מכל קובץ משימה.
מתאים ל
- אימון מודלים בסינית
כוונון עדין של מודלי שפה להבנת הוראות וביצוע משימות מגוונות בסינית.
- אימון מודלי תרגום
שימוש ברשומות תרגום ייעודיות לשיפור מעבר בין סינית לאנגלית.
- חילוץ מידע וסיווג
בניית מודלים ייעודיים לניתוח סנטימנט ותיוג טקסטים לפי תחומים.
איפה זה נופל
המאגר מיועד אך ורק לשפה הסינית ואינו כולל נתונים בעברית, למעט משימות תרגום לשפות זרות כמו אנגלית. התוכן נשען על איסוף מסיבי מרחבי הרשת, ולמרות הניקוי הידני וסינון הכפילויות שהמפתחים ביצעו, אין פירוט בכרטיס לגבי בדיקות רעילות, הטיות חברתיות או שגיאות עובדתיות. חובה לבצע סינון ובקרת איכות על הדגימות לפני הטמעה במערכות שמייצרות תוכן מול משתמשי קצה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
ברירת המחדל לפי התיעוד היא רישיון Apache 2.0 שמתיר שימוש מסחרי, אך יש לכך סייג חשוב. אם תת מאגר מסוים הגיע במקור תחת רישיון אחר, הרישיון ההוא קובע. נדרשת בדיקה של תת המאגרים הספציפיים שאתם מושכים כדי לוודא שאין בהם מגבלות מסחריות.
האם הדאטהסט כולל טקסטים בעברית?
לא. המאגר מוגדר לשפה הסינית בלבד ומתמקד במשימות עיבוד שפה טבעית בסינית. הטקסט היחיד שאינו בסינית מופיע בתרגילי תרגום לשפות אחרות, בעיקר לאנגלית.
איך נאספו הנתונים במאגר?
הבסיס נשען על איסוף נתונים נרחב מהרשת שסיפקה חברת stardust.ai, בשילוב מאגרים ציבוריים קיימים. צוות החוקרים ממוסדות שונים סינן כפילויות, נרמל את הפורמטים והמיר את המשימות למבנה אחיד של הוראות וקלט.
מה ההבדל בין מאגר זה לגרסת ה־Lite?
גרסת ה־core מכילה את אוסף הנתונים המלא שנאסף. גרסת ה־Lite היא גרסה מוקטנת שכוללת רק מאתיים דוגמאות מכל קובץ משימה, ומיועדת לבדיקות מהירות של תהליך הטעינה והאימון לפני שמתחייבים למאגר המלא.
איך טוענים
הנתונים שמורים בקובצי jsonl פשוטים לטעינה ישירה, ללא צורך באישור גישה מיוחד. כל שורה היא אובייקט עם השדות instruction, input, output, split, task_type, domain ושדה other שמכיל לעיתים מטא דאטה נוסף או null. לפני אימון מלא מומלץ לסנן לפי task_type ו־domain כדי להתמקד במשימות הרלוונטיות למודל שלכם.
from datasets import load_dataset
ds = load_dataset("BAAI/COIG-PC-core")הרישיון
הרישיון הכללי מסומן כלא ידוע, אבל הכרטיס קובע כלל ברור. ברירת המחדל היא Apache 2.0 לכל תת מאגר שלא הוגדר לו רישיון אחר. עם זאת, אם לחלק מסוים יש רישיון מקורי מוצהר, הוא קודם וקובע את תנאי השימוש. המשמעות היא שחובה לבדוק את מקור הנתונים של כל משימה לפני שימוש מסחרי במודל שאומן עליה.