COIG-PC-Lite
קוד פתוחBAAIunknown2023-06-28
גרסה מצומצמת לאימון הוראות בסינית שלוקחת בדיוק 200 דוגמאות מכל משימה במאגר המקורי. מתאימה לבדיקות הרצה מהירות, לסינון ראשוני ולבניית אב טיפוס בלי להוריד עשרות ג'יגה בייט של דאטה גולמי.
- 871הורדות בחודש
- 36לייקים
מה זה
המאגר מציג דגימה מתוך אוסף רחב מאוד של משימות עיבוד שפה טבעית בסינית, ומטרתו לסייע בהתאמת מודלי שפה. בסיס הנתונים המקורי נבנה מתוך מידע שנאסף מהאינטרנט על ידי חברת stardust.ai, לצד אינטגרציה של מאגרים סיניים קיימים. הנתונים עברו תהליך ידני של ניקוי כפילויות ונרמול כדי להבטיח אחידות במבנה ולמנוע כפילויות מיותרות באימון.
בגרסת הלייט הזו נלקחו בדיוק 200 רשומות מתוך כל קובץ משימה. המאגר כולו בנוי בפורמט jsonl, שבו כל שורה מייצגת דוגמה עצמאית. כל רשומה כוללת שדות קבועים של הוראה, קלט ופלט רצוי, לצד מטא דאטה שמגדיר את תחום התוכן, סוג המשימה ברמה הראשית והמשנית, וחלוקת הדאטה המקורית לאימון או בדיקה.
מתאים ל
- אימון מקדים מהיר
הרצה קלה של פיין טיונינג לבדיקת התכנסות המודל במשימות הוראה בסינית.
- הערכת ביצועים
בדיקת יכולת המודל להתמודד עם מגוון קטגוריות שפה בסינית על מדגם קטן.
- בניית צינור עיבוד
ולידציה של קוד הטעינה וההמרה של שדות ההוראות לפני מעבר לדאטהסט המלא.
איפה זה נופל
הנתונים מוגבלים לשפה הסינית בלבד, ואין כאן תמיכה בעברית. מאחר שמדובר בדגימה של 200 רשומות בלבד לכל משימה, הוא לא מתאים לאימון מודל סופי לרמת ייצור אלא רק לבדיקות מקדימות. בנוסף, המידע מבוסס על סריקת אינטרנט של חברה חיצונית ללא פירוט מלא של מקורות הטקסט המדויקים, מה שמחייב זהירות ובדיקת איכות ידנית לפני שילוב התוצאות.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. כל הנתונים במאגר מיועדים לשפה הסינית בלבד. אין בו תרגומים לעברית או משימות שקשורות לשפות אחרות מלבד סינית ומעט אנגלית.
האם מותר להשתמש בדאטהסט הזה למטרות מסחריות?
זה תלוי במשימה הספציפית. ברירת המחדל היא רישיון Apache 2.0 שמתיר שימוש מסחרי, אך חלק מתתי המאגרים מגיעים עם תנאים פרטניים משלהם שגוברים על הכלל. חובה לבדוק את קובץ המקור של כל משימה.
מה ההבדל בין גרסת הלייט למאגר הרגיל?
הגרסה המלאה כוללת את כלל הדוגמאות שנאספו באלפי המשימות. גרסת הלייט לוקחת תת קבוצה קבועה של 200 רשומות בלבד מכל קובץ משימה, כדי לאפשר הורדה קלה ובדיקות תוכנה מהירות.
איך נאספו וסוננו הנתונים?
הבסיס מגיע ממאגר נתונים שנאסף מהרשת על ידי חברת stardust.ai בשילוב דאטהסטים סיניים קיימים. צוותים ממוסדות אקדמיים שונים ביצעו סינון ידני כדי להסיר כפילויות ולנרמל את המבנה של ההוראות.
איך טוענים
הקבצים שמורים במבנה jsonl פשוט. טוענים אותם ישירות דרך ספריית datasets או בקריאת קובץ רגילה בכל סקריפט פייתון. המאגר פתוח לציבור ואינו דורש הרשמה מיוחדת או אישור גישה מראש. בריצה על הנתונים, השדות העיקריים להזנה למודל הם instruction, input ו־output, כאשר שדות ה־task_type וה־domain מאפשרים לסנן תתי משימות לפי הצורך.
from datasets import load_dataset
ds = load_dataset("BAAI/COIG-PC-Lite")הרישיון
הרישיון הכללי בעמוד מסומן כלא ידוע, אך המפתחים מציינים כי ברירת המחדל למאגרי המשנה היא רישיון Apache 2.0. עם זאת, תתי מאגרים מסוימים כוללים רישיונות ספציפיים משלהם שגוברים על ברירת המחדל. מי שבונה מודל מסחרי חייב לבדוק את הרישיון המדויק של כל קובץ ומשימה שבהם נעשה שימוש.