ru_turbo_saiga
קוד פתוחIlyaGusevcc-by-4.02023-04-08
שיחות סינתטיות מלאות ברוסית שנוצרו על בסיס מודל טורבו. מאגר שנבנה במיוחד לאימון מודלי שיחה והוראות ברוסית בלי להסתמך רק על תרגום מאנגלית.
- 706הורדות בחודש
- 29לייקים
מה זה
המאגר מציג דיאלוגים רב-שלביים ברוסית בין משתמש לעוזר בינה מלאכותית. הבנייה נעשתה בהשראת מאמר Baize, בשיטה שבה מודל אחד מגלם את שני הצדדים על סמך נושא התחלתי מוגדר מראש. השיחות מתחילות בהנחיה קבועה שדורשת מהמשתמש לשאול שאלות על הנושא ולסיים כשנגמרות לו השאלות, בזמן שהעוזר מחזיר תשובות מפורטות ומלאות.
הטקסטים הופקו דרך המודל gpt-3.5-turbo של OpenAI באמצעות קוד ייעודי שנמצא בפרויקט rulm. אין בכרטיס תיעוד של מנגנוני סינון ידניים או בדיקות איכות שבוצעו על הפלטים, ולכן מדובר בתוכן סינתטי ישיר כפי שיצא מההנחיה ללא חלוקה מפורטת לחלקי משנה.
מתאים ל
- אימון מודל שיחה ברוסית
כוונון עדין של מודלי שפה פתוחים להבנה ומענה בשיחות רב-שלביות ברוסית.
- הערכת ביצועים ברוסית
בדיקת יכולת המענה של מודל קיים מול שאלות מורכבות ותשובות מפורטות ברוסית.
- מחקר על דאטה סינתטי
ניתוח איכות שיחות שנוצרו בשיטת Baize בהשוואה לשיחות שנכתבו בידי אדם.
איפה זה נופל
כל הטקסט נוצר באפריל 2023 ומבוסס בלעדית על המודל של OpenAI, כך שהמידע אינו מעודכן וכולל את כל ההזיות וההטיות המובנות של אותו מודל באותה תקופה. המאגר מוגבל לשפה הרוסית בלבד ואין בו עברית או ייצוג למקורות מידע עצמאיים. מאחר ומדובר בשיחות סינתטיות לחלוטין ללא בקרה אנושית מדווחת, יש סיכון לתשובות שגויות עובדתית שדורשות בדיקה וסינון לפני שמזינים אותן למודל שנמצא בשימוש אמיתי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הרשמי של המאגר הוא cc-by-4.0 שמתיר שימוש מסחרי עם מתן קרדיט. עם זאת, תנאי השימוש של OpenAI אוסרים לאמן מודלים מתחרים על תוכן שהופק מהמודלים שלה. היוצר טוען שהאיסור חל רק עליו ולא עליך, אבל מבחינה משפטית מדובר בסיכון שצריך לקחת בחשבון.
האם יש במאגר שיחות בעברית?
לא. המאגר כולל אך ורק שיחות ברוסית ואינו מכיל טקסטים בעברית.
איך נוצרו השיחות בפועל?
השיחות נוצרו על ידי הרצת פרומפט מול gpt-3.5-turbo לפי עקרונות מאמר Baize. המודל ייצר גם את שאלות המשתמש וגם את תשובות העוזר ברצף על סמך נושא התחלתי.
כמה רשומות יש במאגר ובאיזה פורמט הן מגיעות?
המאגר כולל בין עשרת אלפים למאה אלף שיחות. הוא מאוחסן בקובץ jsonl דחוס בפורמט zst וכולל סקריפט פייתון מלווה לטעינה ישירה.
איך טוענים
המאגר שמור כקובץ jsonl דחוס בסיומת zst לצד סקריפט טעינה בפייתון בשם ru_turbo_saiga.py. אין צורך לבקש אישור גישה מיוחד או לעבור בדיקה לפני ההורדה, הגישה חופשית לחלוטין דרך Hugging Face. היקף הרשומות נמצא בטווח שבין עשרת אלפים למאה אלף שורות. כדי לעבוד איתו צריך לפתוח את כיווץ ה־zst או להריץ את סקריפט הטעינה, ולחלץ את שדות השיחה שמכילים את חילופי הדברים בין המשתמש לעוזר לפי התגיות שנקבעו בהנחיה.
from datasets import load_dataset
ds = load_dataset("IlyaGusev/ru_turbo_saiga")הרישיון
המאגר פורסם תחת רישיון cc-by-4.0 שמתיר שימוש מסחרי, שינוי והפצה תחת מתן קרדיט ליוצר. עם זאת, היוצר מציין במפורש שהנתונים הופקו באמצעות gpt-3.5-turbo, שתנאי השימוש של OpenAI אוסרים על שימוש בפלט שלו לפיתוח מודלים שמתחרים בה, אף שהיוצר טוען שהמגבלה הזו חלה רק עליו ולא על המשתמשים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס