self-cognition

מה זה

הנתונים כוללים שאלות ותשובות קצרות בסגנון של מי אתה ומי פיתח אותך, שמיועדות לאימון עדין של מודל שפה. הרשומות מגיעות בתבנית שמכילה שדות למילוי חוזר, בעיקר תגיות של שם המודל ושם היוצר שלו. הטקסטים נכתבו על ידי צוות swift מבית modelscope כדי לספק פתרון מהיר להטמעת זהות חדשה במודלים קיימים.

המבנה פשוט ומכיל שני שדות מרכזיים, שאלת המשתמש ותשובת המודל. התיעוד מציג סתירה קלה לגבי כמות הנתונים, שכן בסינית מצוין שיש 108 רשומות בעוד שבתיאור באנגלית רשום שיש 134 רשומות. המאגר נשמר בקובץ jsonl ואינו מחולק מראש לקבוצות אימון ובדיקה נפרדות, אלא מוגש כחטיבה אחת שמיועדת כולה לאימון.

מתאים ל

• החלפת זהות מודל

  אימון קצר שגורם למודל להציג את עצמו תחת שם מותג חדש.

• עבודה עם ms-swift

  התאמת תבניות זהות אוטומטית לפי ההנחיות של ספריית swift.

• בדיקת התאמה אישית

  אימון בדיקה מהיר על עשרות דוגמאות בודדות לפני פרויקט מלא.

איפה זה נופל

זהו אוסף זעיר של כמאה שורות בלבד, כך שלא מדובר במאגר ידע אלא בטריק אימון נקודתי. הנתונים זמינים באנגלית ובסינית בלבד, ואין כאן עברית בכלל. מי שבונה מוצר מקומי יצטרך לתרגם ולנסח מחדש את השאלות בעצמו, אחרת המודל ידע לענות על זהותו רק כששואלים אותו בשפות הנתמכות.

איך טוענים

טוענים את הקובץ ישירות דרך ספריית ms-swift או דרך ספריית msdatasets של modelscope. הנתונים שמורים בקובץ self-cognition.jsonl ואין צורך באישור גישה כדי להוריד אותו. השדות החשובים ברשומה הם query ו־response, והספרייה מאפשרת לבצע החלפה אוטומטית של תגיות השם והיוצר או לדגום את הנתונים מחדש.

from datasets import load_dataset

ds = load_dataset("modelscope/self-cognition")

הרישיון

המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים. מותר לאמן מודלים על בסיס הטקסטים הללו ולמכור אותם, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצי הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗