Evol-Instruct-Chinese-GPT4
קוד פתוחFreedomIntelligenceרישיון לא דווח2023-10-07
המאגר מרכז הוראות מורכבות בסינית יחד עם תשובות שהופקו ישירות ממודל GPT4. הוא מיועד למי שרוצה לאמן או לבחון מודלי שיחה על נתונים סינתטיים מתקדמים בסינית.
- 338הורדות בחודש
- 47לייקים
מה זה
בסיס הנתונים נבנה על גבי Evol-instruct-70k המקורי באנגלית, שמכיל שאלות והוראות שעברו תהליך של שכלול וסיבוך הדרגתי. היוצרים לקחו את השאלות האנגליות האלו, תרגמו אותן לסינית, ולאחר מכן הריצו אותן מול GPT4 כדי לקבל את התשובות באותה שפה. התוצאה היא קובץ בשם evol_instruct_70k_zh.json שמרכז את חילופי הדברים האלה.
בכרטיס המאגר לא מפורט מנגנון סינון נוסף, בדיקת איכות אנושית של התרגומים או חלוקה מוגדרת מראש לסטים של אימון ובדיקה. המיקוד כולו הוא התאמת שיטת ההוראות המשוכללות לשפה הסינית, כחלק ממחקרים רחבים יותר של הקבוצה שפורסמו במאמרי AceGPT ו־Phoenix, שעסקו בלוקליזציה של מודלי שפה לשפות שונות מעבר לאנגלית.
מתאים ל
- אימון מודלי שיחה בסינית
כוונון עדין של מודלים פתוחים על משימות הבנת הוראות מורכבות ומענה בסינית.
- הערכת ביצועי מודל בסינית
בדיקת יכולת המענה של מודלים קיימים מול שאלות מאתגרות שמקורן בשיטת Evol-Instruct.
- מחקר על דאטה סינתטי
ניתוח טיב הפלטים וההטיות של מודלי שפה גדולים בעת יצירת נתונים מתורגמים.
איפה זה נופל
המאגר מוגבל לשפה הסינית בלבד ואין בו נתונים באנגלית, עברית או שפות אחרות. התוכן כולו נשען על תרגום שאלות ועל תשובות סינתטיות של GPT4, כך שכל הטיה, שגיאת תרגום או הזיה שנפוצה במודל המקורי מופיעה ישירות בנתונים. הכרטיס אינו מדווח על בקרת איכות ידנית, ולכן לפני שמכניסים מודל שאומן עליו לשימוש אמיתי, אתם חייבים לדגום את הטקסטים ולוודא שהתחביר הסיני תקין ומדויק.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
היוצרים לא ציינו שום רישיון בעמוד המאגר, ולכן אין היתר שימוש ברור לפעילות מסחרית. בנוסף לכך, הפלטים הופקו באמצעות מודל GPT4, מה שמציב מגבלות שימוש נוספות מצד OpenAI על אימון מודלים מסחריים. אם המטרה היא מוצר עסקי, עדיף להימנע משימוש בו.
האם הדאטהסט כולל טקסטים בעברית?
המאגר אינו מכיל עברית כלל וכולל אך ורק נתונים בשפה הסינית. הוא מבוסס על שאלות שמקורן באנגלית ותרגומן המלא, לצד מענה בסינית בלבד. לפרויקטים בעברית תצטרכו לאסוף או לתרגם נתונים אחרים.
איך בדיוק נאספו הנתונים במאגר?
היוצרים לקחו את סט השאלות של Evol-instruct-70k באנגלית, שנועד לייצר משימות מורכבות יותר בעזרת שכתובים. הם תרגמו את השאלות האלו לסינית, וביקשו מ־GPT4 לכתוב את התשובה לכל שאלה. התוצר הסופי נארז בקובץ JSON אחד ללא עיבוד ידני מדווח.
איך טוענים
הגישה למאגר פתוחה לגמרי דרך Hugging Face ואין צורך לבקש הרשאות מיוחדות. במאגר יש שלושה קבצים בלבד, כשהתוכן המרכזי יושב בתוך קובץ ה־JSON היחיד evol_instruct_70k_zh.json לצד קובץ התיעוד.
הגדרת הנתונים בכרטיס מציינת סדר גודל כללי של 100M עד 1B רשומות, אך שם הקובץ והמקור מצביעים על בסיס של 70 אלף דוגמאות. לפני שטוענים את הקובץ ישירות לספריית הדאטהסטים של פייתון, כדאי לפתוח אותו, לוודא את מבנה השדות של השאלה והתשובה, ולבדוק שקידוד התווים בסינית נשמר כראוי בסביבת העבודה שלכם.
from datasets import load_dataset
ds = load_dataset("FreedomIntelligence/Evol-Instruct-Chinese-GPT4")הרישיון
ליוצרי המאגר אין שום דיווח על רישיון שימוש בכרטיס הדאטהסט. מבחינה משפטית, כשאין רישיון מוגדר, הנתונים מוגנים בזכויות יוצרים ואין אישור מפורש להשתמש בהם לשום מטרה, במיוחד לא לפיתוח מסחרי. בנוסף, העובדה שהתשובות נוצרו באמצעות GPT4 עשויה לחשוף אתכם לתנאי השימוש המגבילים של חברת OpenAI לגבי אימון מודלים מתחרים.