alpaca-gpt4-data-zh
קוד פתוחllm-wizardcc-by-4.02023-04-07
המאגר כולל בין עשרת אלפים למאה אלף הוראות בעברית סינית שנוצרו על ידי GPT-4 לצורך אימון מודלים. מי שמחפש לכוונן מודל שפה גנרטיבי בסינית ימצא כאן סט מוכן להורדה ישירה.
- 2,067הורדות בחודש
- 73לייקים
מה זה
המאגר הזה מרכז נתונים שנועדו לכוונון מודלים לפי הוראות עבור משימות יצירת טקסט בסינית. לפי המידע המצורף, כל העבודה מבוססת על פרויקט Instruction Tuning with GPT-4 של חוקרים ממיקרוסופט וממוסדות נוספים, שבדקו שימוש בפלטים של המודל כדי לאמן מודלים פתוחים. הרשומות עצמן מורכבות מהוראות ותשובות שנוצרו על ידי GPT-4, ומסודרות בקובץ alpaca_gpt4_data_zh.json שמכיל את עיקר הדאטהסט לצד קובץ README.
המפרסם llm-wizard לא מפרט בכרטיס את שלבי הסינון, הניקוי או ההרכב הפנימי המדויק של הטקסטים מעבר להפניה למאמר המקורי ולדף הפרויקט. הנתונים מיועדים ישירות לעבודה עם השפה הסינית, כשהגרסה המקבילה באנגלית קיימת במאגר נפרד שהועלה על ידי משתמש אחר, כך שכאן מקבלים אך ורק את הפלטים וההוראות בסינית בלי פיצולים נוספים לחלקים שונים.
מתאים ל
- כוונון מודלים בסינית
אימון מודלי שפה פתוחים במעקב אחר הוראות מורכבות בשפה הסינית.
- מחקר על דאטה סינתטי
בדיקת ההשפעה של אימון מודלים על פלטים שנוצרו על ידי GPT-4 לעומת טקסט אנושי.
- הערכת ביצועי מודל
שימוש ברשומות כמבחן השוואתי למודלים גנרטיביים מול תשובות סינתטיות.
איפה זה נופל
הנתונים כולם בסינית בלבד, בלי שום תמיכה בעברית או בשפות אחרות. הם נוצרו באפריל 2023 על ידי מודל שפה, ולכן הם כוללים את כל ההטיות, ההזיות וטעויות התוכן האופייניות לפלטים סינתטיים של אותה תקופה. כרטיס המאגר לא מפרט תהליכי בקרת איכות או סינון שבוצעו, כך שאתם מקבלים את החומר כמו שהוא ללא בדיקה מקדימה.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
לא. למרות שבמטאדאטה מופיע רישיון CC-BY 4.0, גוף הטקסט מציין בבירור רישיון CC BY-NC 4.0 שמגביל את הנתונים למחקר בלבד. אסור להכניס מודל שאומן עליהם לפעילות מסחרית.
האם יש במאגר נתונים בעברית?
לא, המאגר כולל טקסטים בשפה הסינית בלבד. אם אתם מחפשים לאמן מודלים בעברית או באנגלית, תצטרכו לפנות למאגרים אחרים לגמרי.
איך הנתונים האלה נוצרו?
הרשומות נוצרו במסגרת פרויקט Instruction Tuning with GPT-4, תוך שימוש במודל של OpenAI ליצירת תגובות והוראות. המאגר הנוכחי הוא גרסה של אותם נתונים שפורסמה באפריל 2023.
איך טוענים
אתם מושכים את הקובץ ישירות מתוך Hugging Face בלי צורך בהרשאה מיוחדת או באישור גישה. המאגר מכיל שלושה קבצים, והנתונים עצמם שמורים בפורמט JSON פשוט בשם alpaca_gpt4_data_zh.json, כך שאפשר לטעון אותו בקלות עם ספריית datasets או לקרוא ישירות בפייתון. הוא לא שוקל הרבה כי מדובר בטווח של עשרות אלפי רשומות טקסט בלבד.
from datasets import load_dataset
ds = load_dataset("llm-wizard/alpaca-gpt4-data-zh")הרישיון
יש פה סתירה שצריך להיזהר ממנה. המטאדאטה של הדף מדווחת על רישיון CC-BY 4.0, אבל הטקסט של הכרטיס קובע במפורש שהדאטהסט מוגבל לשימוש מחקרי בלבד תחת CC BY-NC 4.0. המשמעות היא שאסור להשתמש בנתונים למטרות מסחריות, ומודל שתאמנו עליהם לא יכול לצאת מחוץ לכותלי המחקר.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס