tw-instruct-500k
קוד פתוחlianghsuncc-by-nc-sa-4.02025-01-07
חצי מיליון שיחות סינתטיות בסינית מסורתית ובאנגלית, שנבנו כדי לאמן מודלים על הקשרים מקומיים של טייוואן. המאגר מיועד למי שמכוון לשפה הזו וחסר לו דאטה ממוקד משימות לאזור.
- 119הורדות בחודש
- 27לייקים
מה זה
המאגר כולל 500,000 רשומות שיחה, שנלקחו כתת קבוצה מתוך המאגר המלא tw-instruct. הוא נבנה לחלוטין כדאטה סינתטי שנוצר באמצעות GPT-4o ודגם Qwen2.5-14B-Instruct. תהליך הייצור נחלק לשניים: שיחות מבוססות רפרנס, שנשענות על טקסטים מטייוואן ששימשו בעבר לאימון הדגם Llama-3.2-Taiwan-3B, ושיחות ללא רפרנס שנבנו מתוך seed prompts פתוחים כמו Self-Instruct.
המבנה של כל רשומה מותאם לעבודה ישירה עם כלי האימון LLaMA-Factory. כל שורה מכילה מערך שיחה בשם conversations שמציג תפקידי human ו־gpt, ולצידו שדות instruction, input ו־output. לפי התיעוד, הסינון כלל רק ניקוי בסיסי של כפילויות וטקסטים קצרים מדי, ללא תיוג ידני אנושי בכלל.
מתאים ל
- אימון הוראות בסינית מסורתית
כוונון מודלים למענה על שאלות והנחיות בהקשר התרבותי והלשוני של טייוואן.
- הזנה ישירה ל־LLaMA-Factory
הרצת סבבי fine-tuning מהירים בזכות מבנה נתונים שתואם לכלי מהקופסה.
- ערבוב נתונים למודלי שיחה
שילוב אחוז מסוים מהמאגר בתוך תערובת אימון רחבה יותר למניעת שכחה ולשיפור השפה.
איפה זה נופל
זהו דאטה סינתטי במלואו, ולכן הוא סוחב איתו את ההזיות וההטיות המובנות של GPT-4o ו־Qwen. הכרטיס מזהיר במפורש שלא להשתמש בו למשימות שדורשות דיוק עובדתי קשיח כמו רפואה, משפט או פיננסים. בנוסף, למרות המאמץ להתמקד בטייוואן, עדיין מופיעים שם ניסוחים שאינם אופייניים לאזור. עברית כמובן אין כאן כלל, והתוכן מוגבל לסינית מסורתית ואנגלית בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-sa-4.0 שחוסם שימוש מסחרי מכל סוג. אם רוצים להשתמש בו לחברה או למוצר רווחי, צריך לפנות ישירות ליוצר ולקבל היתר נפרד, או לחפש מאגר עם רישיון חופשי.
האם יש במאגר טקסטים בעברית?
אין בו עברית בכלל. המאגר מיועד ספציפית לסינית מסורתית בהקשר טייוואני ולשפה האנגלית. למחקר ישראלי הוא רלוונטי רק אם בוחנים יכולות רב-לשוניות או אימון שפות ספציפיות במזרח אסיה.
מה מקור הנתונים ומי כתב את השיחות?
אף אדם לא כתב את השיחות האלו. מדובר בדאטה סינתטי שנוצר על ידי מודלים סגורים ופתוחים, בעיקר GPT-4o ו־Qwen2.5-14B-Instruct, על בסיס טקסטים שנאספו מטייוואן ורשימות של פרומפטים ממאגרים פתוחים.
מה ההבדל בינו לבין גרסת 2511 שהיוצר מזכיר?
הגרסה המעודכנת tw-instruct-500k-2511 כוללת את אותם הנתונים אך מסודרת בפורמט הודעות שמקובל ב־OpenAI. המאגר הנוכחי שומר על הפורמט הוותיק של LLaMA-Factory, ולכן כדאי לבחור ביניהם לפי ספריית האימון שלכם.
איך טוענים
המאגר ציבורי ופתוח להורדה ישירה ללא צורך באישור גישה מראש. הקובץ המרכזי מופיע בפורמט sample_500k.jsonl, מה שמאפשר לטעון אותו בקלות בספריית datasets הרגילה. המבנה מותאם מראש לפורמט של LLaMA-Factory. אם אתם עובדים בתצורת הודעות סטנדרטית של OpenAI, היוצר עצמו ממליץ לעבור לגרסה המעודכנת שלו שנקראת tw-instruct-500k-2511 במקום להמיר את השדות ידנית.
from datasets import load_dataset
ds = load_dataset("lianghsun/tw-instruct-500k")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. המשמעות פשוטה, אסור להשתמש בו לצרכים מסחריים ללא אישור ישיר מהיוצר. בנוסף, חובה לתת קרדיט מלא ליוצר בכל פרסום או במטא-דאטה, וכל נגזרת או מודל שתאמנו עליו חייבים להיות משוחררים תחת אותו רישיון בדיוק.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא