Everything_Instruct_Multilingual
קוד פתוחrombodawgapache-2.02024-10-08
אוסף ענק של הוראות מגוונות בפורמט אלפקה לתחומים כמו קוד, מדע ותרגום. הוא מתאים למי שרוצה לאמן מודל פתוח ללא צנזורה על מגוון שפות רחב.
- 67הורדות בחודש
- 26לייקים
מה זה
המאגר מאגד מיליוני רשומות שמגיעות מעשרות מקורות שונים ברשת, כולל דאטהסטים קיימים של שאילתות, תרגומים ושיחות. הנתונים מאורגנים בפורמט alpaca instruct ונוגעים בקטגוריות רבות. תמצאו כאן כמעט שלושה מיליון דוגמאות לקוד מתוך מאגרים כמו Code-290k ו־Magicoder, לצד כמעט שלושה מיליון רשומות רב-לשוניות, ומאות אלפי דוגמאות של ידע כללי, משחקי תפקידים, כתיבה יוצרת, רפואה, חוק ומתמטיקה.
היוצר לא מציין תהליכי סינון מיוחדים מעבר לאיסוף והסבת הנתונים למבנה אחיד. חלק גדול מהחומר נשען על אוספים קודמים של המפתח עצמו, כמו code_bagel לחלקים הטכניים ו־OpenHermes-2.5-Uncensored להוראות הכלליות.
מתאים ל
- אימון מודל קוד ופונקציות
אימון מודלים לכתיבת תוכנה והפעלת כלים באמצעות קרוב לשלושה מיליון דוגמאות תכנות.
- הוראות רב-לשוניות
שיפור יכולות שיחה ותרגום בשפות אירופיות ואסיאתיות הכלולות במאגר.
- מודל שיחה לא מצונזר
בניית עוזר אישי כללי או מודל למשחקי תפקידים שאינו חסום על ידי מנגנוני סירוב.
איפה זה נופל
המאגר מוגדר במפורש כלא מצונזר, כלומר אין בו מנגנוני בטיחות או יישור קו נגד תוכן פוגעני, ומודל שילמד עליו לא יסרב לבקשות. מבחינת שפות, עברית בכלל לא נתמכת כאן, והמיקוד הוא בשפות כמו אנגלית, רוסית, סינית, ערבית, ספרדית ועוד כמה אחרות. מעבר לזה, המידע מבוסס על שלל מקורות חיצוניים שלא ברור עד כמה עברו אימות, לכן לפני שמשלבים אותו בסביבה מבצעית חובה לסנן פלטים רפואיים, משפטיים ותכנים שעלולים להכיל קוד בעייתי.
שאלות
נפוצות
האם הדאטהסט כולל נתונים בעברית?
לא, עברית אינה מופיעה ברשימת השפות הנתמכות. הדאטהסט מתמקד באנגלית, רוסית, סינית, קוריאנית, אורדו, לטינית, ערבית, גרמנית, ספרדית, צרפתית, הינדי, איטלקית, יפנית, הולנדית ופורטוגזית. אם אתם מחפשים לשפר ביצועים בעברית, המאגר הזה לא יספק לכם מענה.
האם מותר להשתמש בו למוצרים מסחריים?
הדאטהסט מוגדר תחת רישיון apache-2.0 שמתיר שימוש מסחרי ללא תשלום תמלוגים. עם זאת, הוא נבנה מחיבור של עשרות מאגרים שונים כמו Reddit, יוטיוב ומאגרי קוד. כדאי לבדוק את תנאי המקורות הנפרדים כדי לוודא שאין ביניהם כאלה עם מגבלות שימוש נוקשות יותר.
מה המשמעות של היותו uncensored?
היוצר מציין שהנתונים לא עברו סינון להסרת תוכן שנוי במחלוקת או בעייתי. מודל שיאומן עליהם יטה לענות לכל פנייה בלי לסרב, אלא אם תבצעו תהליך יישור נפרד. אם אתם בונים מוצר שפונה לקהל רחב, תידרשו להוסיף מנגנוני בטיחות משלכם.
איך טוענים
הקובץ המרכזי יושב במאגר בתור קובץ json יחיד בשם Everything_Instruct_Multilingual.json. אין צורך באישור גישה או במילוי טפסים כדי להוריד אותו. הנתונים בנויים בפורמט alpaca instruct, כך שסביר שתעבדו מול שדות ההוראה, הקלט והפלט הרגילים. קחו בחשבון שמדובר במיליוני שורות טקסט מקובצות, ולכן תצטרכו שטח אחסון מתאים וזיכרון עבודה נרחב כדי לטעון ולעבד את הקובץ במלואו.
from datasets import load_dataset
ds = load_dataset("rombodawg/Everything_Instruct_Multilingual")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של החומר, לצד אימון מודלים, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי. יחד עם זאת, הדאטהסט כולל בתוכו מקורות עצמאיים רבים, ומומלץ לוודא שהרישיונות המקוריים שלהם לא מתנגשים עם המטרות שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים