orca-chat

מה זה

המאגר מבוסס על השחזור של דאטהסט אורקה שביצע אריק הרטפורד בפרויקט דולפין, בשיתוף פעולה עם אנשי צוות אופן אסיסטנט. אורקה המקורי כלל הוראות בסגנון הסבר, אבל סבל מדוגמאות פשוטות מדי מעל 4k טוקנים ומעודף גדול של הוראות דומות שסתם ניפחו את זמן החישוב באימון.

כדי לפתור את זה, המפתח ניקה וסינן דוגמאות בעלות דמיון גבוה מאוד. לאחר מכן הוא קיבץ הוראות בודדות יחד כדי לייצר רצף שנראה כמו שיחה אמיתית, במקום רשימה מבודדת של שאלות ותשובות.

התוצר מחזיק קובץ נתונים מרכזי בשם orca-chat-gpt4-8k.json שמותאם לחלון הקשר של עד 8k טוקנים. אין כאן חלוקה מובנית לחלקי אימון ומבחן, אלא קובץ יחיד של שיחות שעברו עיבוד ואשכול מחדש.

מתאים ל

• אימון מודלי שיחה

  התאמת מודל שפה למבנה שיחה מרובה שלבים שמסוגל לענות בהסברים מפורטים.

• אימון לחלונות 8k

  פיין טיונינג למודלים שתומכים בהקשר של עד שמונת אלפים טוקנים בלי דוגמאות מקוטעות.

• מחקר על אשכול נתונים

  בדיקת השפעת קיבוץ הוראות בודדות לרצפי שיחה על איכות הפלטים הסופית.

איפה זה נופל

הכרטיס לא מציין תמיכה בעברית, והנתונים נשענים על שחזור מבוסס מודלים באנגלית מיולי 2023. המפתח אמנם מעיד שהוא סינן כפילויות, אבל אין פירוט מדויק של מדדי הסינון או בדיקות בטיחות שנעשו על הפלטים. לפני שמשלבים את זה באימון מודל, צריך לבדוק ידנית את איכות השרשור של השיחות ולוודא שהחיבור בין ההוראות לא יצר מעברים לא הגיוניים.

איך טוענים

טוענים את המאגר ישירות דרך ספריית הדאטהסטים של הגינג פייס או מורידים את הקובץ orca-chat-gpt4-8k.json. המאגר פתוח לציבור, בלי צורך באישור גישה או מפתחות. הנתונים שמורים במבנה ג'ייסון סטנדרטי של שיחה, וכדאי לשים לב לאורך הרצפים כדי לוודא שהם יושבים טוב בחלון ההקשר שאתם מקצים לאימון.

from datasets import load_dataset

ds = load_dataset("shahules786/orca-chat")

הרישיון

הרישיון המדווח הוא אפאצ'י 2.0. הוא מתיר שימוש מסחרי, שינוי והפצה, בלי חובה לשחרר את המודל המאומן תחת אותו רישיון, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. עם זאת, מקור הנתונים כולל פלטים שנוצרו על ידי מודלים של חברות מסחריות, מה שעשוי להטיל מגבלות חיצוניות שלא תלויות ברישיון הקוד הפתוח עצמו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗