GLM-4-Instruct-4K-zh
קוד פתוחrqqapache-2.02024-05-06
המאגר כולל 4,000 תשובות בסינית שיוצרו על ידי GLM-4 עבור שאלות מתורגמות. הוא מתאים למי שרוצה לאמן מודל הוראות בסינית בלי לבנות סט נתונים מאפס.
- 53הורדות בחודש
- 33לייקים
מה זה
הנתונים מבוססים על שאלות שנלקחו מהמאגר Sao10K/Claude-3-Opus-Instruct-5K. היוצרים תרגמו את השאלות המקוריות לסינית, ואז הזינו אותן למודל GLM-4 כדי להפיק תשובות חדשות לגמרי. התוצאה היא אוסף של שאלות ותשובות שמיועד לתרגום ולמענה על שאלות בשפה הסינית.
המאגר מכיל ארבעה קבצים, והתוכן המרכזי מחולק לשני קבצי JSON עיקריים. הקובץ GLM-4-Instruct-4K-zh.json כולל 4,000 צמדי שאלות ותשובות בפורמט Alpaca. הקובץ השני, GLM-4-question-translate-5K-zh, מתעד את תהליך התרגום של 5,000 השאלות המקוריות לסינית במבנה של שיחה. הכרטיס לא מפרט תהליכי סינון ידניים או בדיקות איכות שנעשו לאחר הריצה.
מתאים ל
- אימון הוראות בסינית
כוונון עדין של מודלי שפה למענה על שאלות בסינית בעזרת llama-factory.
- בדיקת תרגום שאלות
הערכת היכולת של מערכות תרגום באמצעות השוואת השאלות המקוריות לקובץ השיחות המתורגם.
- מחקר על דאטה סינתטי
ניתוח איכות הפלטים וההטיות של מודל GLM-4 בהשוואה לתשובות אנושיות.
איפה זה נופל
כל התוכן במאגר הוא בסינית בלבד, כך שאין כאן שום תמיכה בעברית או באנגלית. בנוסף, מדובר בדאטה סינתטי לחלוטין שמבוסס על שאלות מתורגמות ותשובות שנוצרו על ידי GLM-4, ללא עדות לבקרת איכות אנושית. תרגום מכונה עלול לגרור עיוותים וטעויות ניסוח, ותשובות מודל עשויות להכיל הזיות או ניסוחים לא מדויקים. לפני שמשלבים את המידע באימון מודל, חובה לבדוק מדגמית את איכות התרגום ורמת האמינות של התשובות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא apache-2.0, והוא מאפשר שימוש מסחרי חופשי. מותר לאמן מודלים למוצרים פנימיים או חיצוניים. החובה היחידה היא לשמור על תנאי הייחוס והודעת הרישיון המקורית של היוצרים.
האם הדאטהסט כולל טקסטים בעברית?
לא, המאגר מוגדר לשפה הסינית בלבד. השאלות תורגמו לסינית והתשובות הופקו ישירות בסינית על ידי GLM-4. אם אתם מחפשים נתונים בעברית, המאגר הזה לא יספק לכם מענה.
איך אספו ויצרו את הנתונים בפועל?
היוצרים לקחו שאלות קיימות ממאגר של Sao10K שמבוסס במקור על Claude 3 Opus. הם תרגמו את השאלות לסינית, ולאחר מכן הריצו אותן על המודל GLM-4 כדי לייצר 4,000 תשובות חדשות בפורמט Alpaca.
במה המאגר הזה שונה ממאגרי הוראות אחרים?
הוא מתמקד באופן בלעדי בתשובות שמגיעות מהמודל GLM-4 ולא ממודלים מערביים נפוצים. בנוסף, המבנה שלו מוכן מראש לעבודה חלקה עם כלי האימון llama-factory ללא צורך בהתאמות קוד מיוחדות.
איך טוענים
המאגר פתוח לציבור ואינו דורש אישור גישה מיוחד. הנתונים שמורים בקבצי JSON פשוטים, כשהקובץ המרכזי מובנה בפורמט Alpaca ומכיל שדות של הוראה ותשובה. אפשר לטעון אותו ישירות דרך ספריית datasets של Hugging Face, או להוריד את קובץ ה־JSON לעבודה מקומית. המבנה שלו מותאם לעבודה ישירה עם מסגרות אימון כמו llama-factory, כך שאין צורך בהמרת מבנה מורכבת לפני שמתחילים כוונון עדין.
from datasets import load_dataset
ds = load_dataset("rqq/GLM-4-Instruct-4K-zh")הרישיון
המאגר מפורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי ומאפשר לשנות את הנתונים, להפיץ אותם מחדש ולאמן עליהם מודלים בלי לחייב פתיחה של הקוד או שיתוף באותו רישיון. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והייחוס ליוצרים המקוריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים