guanaco-unchained
קוד פתוחCheshireAIapache-2.02023-07-07
המאגר מכיל שיחות הוראה באנגלית שעברו ניקוי מסירוב ומניסוחים רובוטיים. מי שמחפש בסיס אימון שלא מתנצל ושלא מזכיר שהוא מודל שפה, ימצא כאן בדיוק את זה.
- 20הורדות בחודש
- 26לייקים
מה זה
הנתונים מבוססים על דאטהסט Guanaco של timdettmers, שמקורו במיזם OpenAssistant, אבל עברו סינון אגרסיבי. CheshireAI לקחו את צמדי השאלות והתשובות והורידו מהם את רוב התוכן שאינו באנגלית, כדי לשמור על רמת שפה אחידה. מעבר לשפה, הם התמקדו בשני דברים עיקריים: מחיקת ביטויים שמזהים את הבוט כתוכנה כמו המשפט הנפוץ על היותו מודל בינה מלאכותית, והסרה שיטתית של תשובות מתחסדות, סרבניות או סובייקטיביות מדי.
בנוסף לניקוי הטון, בוצע יישור טכני של מבנה השיחה. אם בדיאלוג המקורי נשארה פנייה אנושית אחרונה בלי מענה של המודל, היא נחתכה החוצה כדי להשאיר זוגות שלמים בלבד. גם שפה מתנצלת נמחקה או נערכה מחדש כדי להרגיל את המודל העתידי לענות באופן ישיר ותמציתי. המאגר מורכב כולו מרשומות בפורמט instruct של הנחיה ותשובה.
מתאים ל
- אימון צ'אטבוטים ישירים
כוונון מודלים באנגלית כדי לקבל תשובות ענייניות בלי התנצלויות מיותרות.
- הסרת זהות בינה מלאכותית
לימוד מודל לתקשר בצורה טבעית בלי להזכיר שהוא מודל שפה או בוט.
- בנצ'מרק לסגנון דיבור
בדיקת השפעת סינון ידני של סירובים והטפות מוסר על איכות הפלט הסופית.
איפה זה נופל
אם אתם בונים משהו לשוק הישראלי, אין לכם מה לחפש פה בעברית, כי הסינון מחק כמעט כל שפה שאינה אנגלית. הסינון נעשה בצורה ידנית, והיוצרים מציינים במפורש שיכולות להיות טעויות אנוש, חוסר עקביות או מקרים שבהם זיהוי הבוט חמק מהעין. מעבר לזה, המאגר פורסם ביולי 2023 ומאז לא עודכן. הסרת הסירובים וההטפות עלולה להביא לכך שהמודל יספק תשובות לא בטוחות, ולכן צריך לבדוק היטב את הפלטים לפני שמחברים אותו למשתמשי קצה.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. כחלק מתהליך הסינון והבקרת איכות, כמעט כל השאלות והתשובות שאינן באנגלית הוסרו לחלוטין. אם המטרה היא כוונון מודל לעברית, המאגר הזה לא רלוונטי.
מה ההבדל בינו לבין Guanaco המקורי?
המאגר המקורי כלל טקסט רב לשוני, התנצלויות מרובות, סירובים לענות והצהרות חוזרות על כך שמדובר במודל שפה. הגרסה הזו מנקה את כל אלה כדי להשאיר דיאלוג ישיר, אסרטיבי ואנושי יותר באנגלית.
האם מותר להשתמש בו למוצר מסחרי?
כן. הרישיון המדווח הוא Apache 2.0, שמאפשר שימוש מסחרי מלא, כולל אימון מודלים שמיועדים למכירה. יש לוודא שאתם שומרים על תנאי הקרדיט הנדרשים ברישיון.
איך נאספו ונוצרו הנתונים?
הבסיס נלקח ישירות ממאגר openassistant-guanaco. לאחר מכן היוצרים ביצעו עריכה וסינון ידני כדי להסיר תוכן לא באנגלית, לחתוך שאלות ללא מענה ולשכתב תשובות מתחסדות או מתנצלות.
איך טוענים
טוענים את המאגר ישירות מתוך Hugging Face בעזרת הספרייה datasets דרך המזהה CheshireAI/guanaco-unchained. הקובץ המרכזי מגיע בפורמט jsonl בשם guanaco-unchained.jsonl, לצד קובץ README. אין צורך לבקש אישור גישה מיוחד או לחכות לאישור ידני. מדובר במאגר קטן יחסית שנע בין אלף לעשרת אלפים רשומות, כך שהוא יורד מהר מאוד ולא דורש משאבי אחסון חריגים.
from datasets import load_dataset
ds = load_dataset("CheshireAI/guanaco-unchained")הרישיון
הרישיון כאן הוא Apache 2.0. זהו רישיון מתירני שמאפשר שימוש מסחרי חופשי, שינוי של הנתונים והפצה שלהם, כולל אימון מודלים למוצרים מסחריים. התנאי העיקרי הוא מתן קרדיט ושמירה על הודעת הרישיון המקורית. אין חובה לשתף מודל שאימנתם תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים