SlimOrcaDedupCleaned
קוד פתוחcgatomit2024-03-26
חצי ממאגר SlimOrca שעבר ניקוי כפילויות וסינון של תחיליות וסיומות קבועות. הוא מיועד למי שרוצה לאמן מודל בלי לבזבז טוקנים על תבניות הנחיה שחוזרות על עצמן.
- 1,026הורדות בחודש
- 26לייקים
מה זה
המאגר מבוסס על Slim Orca Deduped ומכיל חצי ממנו, לאחר סינון ידני של מבני הנחיה קבועים. הנתונים מגיעים מקבצי JSON שמחולקים לחלקים, כפי שמעיד הקובץ CleanedOrcaSlimDedup_0 of 2.json. היוצר לא פירט את כמות השורות המדויקת או את אופן החלוקה המדויק מעבר לכך שמדובר בחצי מהחומר המקורי.
מטרת הניקוי הייתה להסיר תוספות טקסט שלא נתנו ערך אמיתי. הוסרו תחיליות כמו Question, הוראות קריאה וסימני שאלה, לצד סיומות שנועדו לכוון את התשובה כמו The answer is, סיכומים או מילות פלט, שלטענת המפתח גרמו למודלים להישען יותר מדי על התנהגות ההשלמה המקורית שלהם.
מתאים ל
- אימון הוראות נקי
כוונון עדין של מודל שפה על הנחיות שאינן כוללות מילות פתיחה וסיום קבועות שגוזלות טוקנים.
- הפחתת התאמת יתר
אימון שמונע מהמודל להתרגל לתבניות נוקשות כמו קידומות שאלה או סיומות של תשובה מוכנה מראש.
- בדיקת יעילות טוקנים
השוואת ביצועי אימון מול Slim Orca המקורי כדי לבדוק האם הסרת הקידומות מקצרת את זמן הריצה.
איפה זה נופל
המאגר מכיל רק חצי מהנתונים של Slim Orca Deduped המקורי, והיוצר לא מסביר איך בדיוק נבחר החצי הזה או מה הושמט בדרך. אין שום תיעוד לגבי תמיכה בשפות אחרות מעבר לאנגלית, כך שלאימון מודל בעברית הוא כנראה לא יתרום הרבה בלי תרגום או תוספות. בנוסף, לא מצוין מתי נדגמו הנתונים המקוריים או אילו הטיות נשארו בתוכן עצמו מעבר להסרת התחיליות והסיומות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, המאגר מסומן תחת רישיון MIT שמאפשר שימוש מסחרי חופשי. עליכם רק לצרף את תנאי הרישיון המקוריים בפרויקט שלכם. אין דרישה לפתוח את הקוד או את המודל שתאמנו עליו.
האם יש במאגר נתונים בעברית?
כרטיס המאגר אינו מציין קיום של שפות מלבד אנגלית. מאגרי Orca מבוססים בדרך כלל על אנגלית, והדוגמאות שמופיעות בדף כוללות תחיליות באנגלית בלבד. אם המטרה היא ביצועים בעברית, תצטרכו להביא מקורות נתונים אחרים.
מה ההבדל בין המאגר הזה לבין Slim Orca המקורי?
המאגר הזה לוקח רק מחצית מהדאטהסט שעבר ניקוי כפילויות, ומנקה ממנו תחיליות כמו Instructions וסיומות כמו The answer is. המטרה של המפרסם הייתה לחסוך טוקנים מיותרים ולמנוע מהמודל ללמוד תבניות קבועות שאינן נחוצות לתשובה.
כמה שורות יש במאגר ואיך הוא בנוי?
המפרסם לא רשם את כמות הדוגמאות המדויקת, אלא רק ציין שמדובר בחצי מהגודל של Slim Orca Deduped. הנתונים שמורים בקבצי JSON, ביניהם קובץ שמסומן כחלק אפס מתוך שניים, כך שהחומר מפוצל לכמה חלקים.
איך טוענים
טוענים את הנתונים ישירות מקבצי ה־JSON שנמצאים במאגר של Hugging Face, כמו CleanedOrcaSlimDedup_0 of 2.json. המאגר פתוח לגמרי ואינו דורש אישור גישה מוקדם או מפתח מיוחד. לפני שמתחילים להריץ אימון, קחו בחשבון שיש במאגר שלושה קבצים בלבד כולל דף ההסבר, ושמבנה השדות הפנימי לא מתועד בפירוט בעמוד הדאטהסט, כך שתצטרכו לקרוא שורה לדוגמה כדי לוודא את שמות המפתחות של הקלט והפלט.
from datasets import load_dataset
ds = load_dataset("cgato/SlimOrcaDedupCleaned")הרישיון
המאגר פורסם תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי של הנתונים והפצה חופשית, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף את המודל המאומן או את הנגזרות תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש