dolly-15k-instruction-alpaca-format
קוד פתוחllm-wizardcc-by-3.02023-04-13
מעל 15,000 הוראות ותשובות שנכתבו בידי עובדי Databricks, מומרות למבנה של Alpaca וללא מספרי ציטוטים. זה פתרון למי שמחפש דאטהסט הוראות שנוצר בידי אדם ולא פלט סינתטי של מודל מסחרי.
- 105הורדות בחודש
- 39לייקים
מה זה
המאגר כולל יותר מ־15,000 רשומות שנכתבו במקור על ידי אלפי עובדי חברת Databricks, במטרה לאמן מודלים על הוראות אנושיות ולא על פלטים של בינה מלאכותית יוצרת. העובדים התבקשו לכתוב צמדים של הוראה ותשובה בשמונה קטגוריות שונות, הכוללות כתיבה יצירתית, מענה על שאלות פתוחות, מענה על שאלות סגורות, סיכום טקסט, חילוץ מידע, סיווג, סיעור מוחות וקטגוריה חופשית. באמצע תהליך האיסוף ניתנה לעובדים גם אפשרות לענות על שאלות שניסחו עמיתיהם, לאחר ניסוח מחדש של השאלה.
עבור משימות שדרשו טקסט מקור, כמו סיכום או חילוץ מידע, הכותבים העתיקו פסקאות מתוך ויקיפדיה לשדה ההקשר. הגרסה הספציפית הזו לוקחת את הנתונים המקוריים של Databricks ומארגנת אותם מחדש בפורמט הפופולרי של Alpaca, תוך ניקוי ידני של מספרי ההפניות בסוגריים מרובעים שהועתקו במקור מוויקיפדיה והומלצו להסרה על ידי היוצרים.
מתאים ל
- אימון הוראות למודלי שפה
כוונון עדין של מודלים פתוחים לקבלת הוראות ומענה על משימות טקסט שונות.
- יצירת דאטה סינתטי
שימוש בהוראות האנושיות כדוגמאות מעטות להרחבת דאטהסטים באמצעות מודלים אחרים.
- שכתוב והעשרת נתונים
הפעלת מודלי פרפרזה על ההוראות כדי ליצור גיוון לשוני ורגולריזציה באימון.
איפה זה נופל
הנתונים כולם באנגלית אמריקאית ואין כאן עברית בכלל. הטקסטים מושפעים באופן ישיר מהדמוגרפיה ותחומי העניין של עובדי חברת תוכנה אחת, וחלק מהכותבים אינם דוברי אנגלית כשפת אם. בנוסף, ההנחיות שניתנו לעובדים היו קצרות במכוון כדי להגדיל את קצב הכתיבה, מה שבא על חשבון עמידה קפדנית בכללי תיוג אחידים. טקסטים שהועתקו מוויקיפדיה עשויים לכלול שגיאות עובדתיות והטיות שקיימות במקור, כך שחובה לסנן ולבדוק את התוכן לפני שמבססים עליו מודל לתחום שדורש דיוק עובדתי.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, המאגר נועד במפורש לאפשר יישומים מסחריים ואקדמיים כאחד. עם זאת, עליכם להקפיד על מתן קרדיט ל־Databricks, ולשים לב שחלקים שהועתקו מוויקיפדיה עשויים לחייב שיתוף של הנגזרות תחת אותו רישיון חופשי.
האם יש בדאטהסט תמיכה בעברית?
לא, הנתונים כולם נאספו ונכתבו באנגלית אמריקאית בלבד. כדי להשתמש בו לאימון מודל בעברית תצטרכו לתרגם את כל הדוגמאות, תהליך שעלול לפגוע באיכות הניסוחים האנושיים המקוריים.
איך המידע נאסף בפועל?
הנתונים נכתבו ישירות על ידי עובדי Databricks שקיבלו הנחיות לכתוב צמדי שאלות ותשובות בשמונה קטגוריות. נאסר עליהם להשתמש בכלי בינה מלאכותית יוצרת או במקורות אינטרנט חיצוניים, למעט פסקאות שהועתקו מוויקיפדיה עבור שאלות סגורות ומשימות סיכום.
מה ההבדל בין המאגר הזה למאגר Dolly 15k המקורי?
זהו אותו תוכן בדיוק, אך המבנה הומר למבנה המקובל של פרויקט Alpaca כדי להקל על טעינה בספריות אימון קיימות. בנוסף, הוסרו ממנו מספרי ההפניות בסוגריים מרובעים שהגיעו מהעתקה של ערכי ויקיפדיה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה llm-wizard/dolly-15k-instruction-alpaca-format. אין צורך באישור גישה או בבקשת הרשאה מיוחדת, והמאגר פתוח להורדה מיידית. הקובץ המרכזי שמכיל את הדוגמאות שמור בפורמט Parquet יחיד תחת תיקיית data, לצד קובץ התיעוד. מכיוון שמדובר בהמרה לפורמט Alpaca, השדות החשובים לעבודה באימון הם instruction להוראה עצמה, input להקשר או לטקסט המקור כשיש כזה, ו־output לתשובה הרצויה.
from datasets import load_dataset
ds = load_dataset("llm-wizard/dolly-15k-instruction-alpaca-format")הרישיון
הרישיון שמדווח במאגר הוא CC BY 3.0, אך הטקסט של Databricks מציין במפורש רישיון CC BY-SA 3.0 עקב שימוש בטקסטים מוויקיפדיה. הרישיון מתיר שימוש מסחרי, שינוי והפצה, אך דורש מתן קרדיט מלא ליוצרים. אם חל סעיף השיתוף הזהה מהמקור, כל יצירה נגזרת או מודל שמאומן עליו ישוחררו תחת אותו הרישיון בדיוק.