french_instruct
קוד פתוחangeluriotmit2024-03-01
המאגר מרכז 275,600 שיחות והוראות בצרפתית, שרובן המוחלט תורגם מאנגלית. מי שמפתח מודל שיחה לצרפתית מקבל כאן נפח גדול עם תיוג של סגנון, קוד ומקור הטקסט.
- 648הורדות בחודש
- 19לייקים
מה זה
הנתונים מורכבים משיחות בין משתמש לעוזר וכוללים כ־85 מיליון טוקנים. כל רשומה כוללת הקשר, את מהלך השיחה, את זהות הכותב, סגנון התשובה, חיווי על קיומו של קוד ומקור הדאטה. מתוך כלל המסמכים, כ־70.66% נכתבו על ידי צ'אטבוטים וכ־83.21% מהתשובות מנוסחות בסגנון צ'אטבוטי. קוד מופיע ב־13.49% מהמקרים.
הבסיס מגיע מ־13 מקורות מוכרים. Evol Instruct מתורגם תופס את נתח הטוקנים הגדול ביותר עם 42.42%, ואחריו HC3 המתורגם עם 27.46%. מקורות נוספים כוללים את אלפקה, דולי, GSM8K ו־LIMA, כולם בתרגום. מעט מאוד מהחומר נאסף ישירות בצרפתית, בעיקר נתחים מ־WikiHow, מ־ShareGPT ומ־Aya. הסינון כלל הסרת כפילויות, מחיקת שיחות ריקות וניקוי שאריות של טקסט באנגלית.
מתאים ל
- אימון מודל הוראות בצרפתית
כוונון עדין למודלי שפה שצריכים להבין ולבצע פקודות מורכבות בצרפתית.
- אימון מודלי שיחה וקוד
סינון לפי שדה הקוד כדי לאמן מודלים על פתרון בעיות תכנות בצרפתית.
- זיהוי טקסט שנוצר במכונה
בניית מסווג שמבדיל בין טקסט אנושי לטקסט סינתטי בעזרת התיוג המובנה.
איפה זה נופל
הבעיה המרכזית היא תרגום מכונה. רוב הדאטהסט תורגם מאנגלית לצרפתית באמצעות ה־API של ChatGPT, כך שהטקסט עלול לסבול מתחביר מאונגלז ומטעויות תרגום טיפוסיות של מודלים. עברית לא קיימת כאן בכלל, והשימוש רלוונטי רק למשימות בצרפתית.
בנוסף, חלק זעום מהחומר נכתב במקור על ידי דוברי צרפתית, ורוב התשובות נושאות סגנון סינתטי מובהק של צ'אטבוט. מי שבונה מודל שצריך להישמע טבעי או מקומי בצרפת יצטרך לסנן את הרשומות בקפדנות לפני תחילת העבודה.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. המאגר מיועד אך ורק לצרפתית, ולא מכיל דאטה בעברית.
האם הטקסט בצרפתית נכתב במקור על ידי בני אדם?
רובו המוחלט לא. כ־70% נכתבו על ידי מודלים, וכ־83% מהתשובות הן בסגנון צ'אטבוטי. יתרה מזאת, רוב המקורות תורגמו מאנגלית באמצעות ChatGPT.
האם מותר להשתמש בדאטהסט הזה לאימון מסחרי?
המאגר מוגדר תחת רישיון MIT, שמתיר שימוש מסחרי חופשי בכפוף למתן קרדיט. עם זאת, כדאי לזכור שחלק מהנתונים תורגמו ממאגרי מקור שעשויים להחזיק תנאי שימוש משלהם.
איך אפשר לסנן רק תשובות שנכתבו על ידי אדם?
בכל רשומה יש שדות ייעודיים בשם author ו־style. אפשר להשתמש בהם כדי לפלטר החוצה טקסט שנוצר על ידי מודלים ולהישאר רק עם רשומות אנושיות.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets של Hugging Face דרך הפקודה load_dataset('angeluriot/french_instruct'), בלי צורך באישור גישה. אפשר לעבוד גם דרך הריפו בגיטהאב עם סקריפט ייעודי שממזג לקובץ jsonl יחיד. הקובץ המרכזי במאגר הוא dataset.parquet. כשמעבדים את הנתונים כדאי להסתמך על השדות author, style ו־code כדי לחתוך החוצה סגנונות שלא מתאימים למטרת האימון.
from datasets import load_dataset
ds = load_dataset("angeluriot/french_instruct")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ומחייב רק הצגת הקרדיט ונוסח הרישיון המקורי. אפשר לאמן עליו מודלים מסחריים בלי חובה לחשוף את הקוד או לפתוח את המשקולות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש