RAG-Instruct
קוד פתוחFreedomIntelligenceapache-2.02025-01-05
מאגר הוראות שנוצר כדי לשפר יכולות אחזור מידע של מודלי שפה. הוא מבוסס על ויקיפדיה ומציע מגוון משימות ותרחישי שאילתות ומסמכים שסונתזו באמצעות מודל חיצוני.
- 143הורדות בחודש
- 40לייקים
מה זה
המאגר כולל נתונים סינתטיים שנוצרו באמצעות GPT-4o, במטרה לאמן מודלים להתמודד טוב יותר עם משימות של אחזור מידע ויצירת טקסט. הבסיס הטקסטואלי לכל הדוגמאות מגיע מקורפוס ויקיפדיה, ועליו נבנו תרחישים שונים שמחברים בין שאילתות משתמש למסמכים רלוונטיים.
היוצרים כיוונו למגוון רחב של משימות ותרחישים, כך שהמודל ילמד להתמודד עם שאלות מסוגים שונים ולא ייתקע על תבנית קבועה. המטרה המוצהרת היא שיפור ביצועים במענה על שאלות מבוססות הקשר, החל משאלות ישירות ועד משימות הדורשות הסקת מסקנות מכמה מקורות. המידע נשמר בקובץ יחיד שמכיל את ההוראות, ללא פיצול מוצהר לחלקים נפרדים בכרטיס המאגר עצמו.
מתאים ל
- אימון מודלי שיחה לאחזור
כוונון עדין של מודלי שפה קטנים כדי לשפר את הדיוק שלהם במענה על שאלות לפי הקשר.
- הערכת ביצועי מודלים
בדיקת יכולת המודל להתמודד עם מגוון תרחישי שאילתות ומסמכים מול נתוני ייחוס.
- בניית הדגמות ומדדי RAG
בסיס נתונים מוכן לבחינת רכיבי שליפה ואחזור בצינורות פיתוח לפני מעבר לדאטה פנימי.
איפה זה נופל
הנתונים מבוססים כולם על טקסטים מוויקיפדיה באנגלית בלבד, כך שאין כאן שום תמיכה בעברית או תכנים ממקורות מגוונים יותר כמו שיחות, מסמכים משפטיים או קוד. בנוסף, מדובר בדאטה סינתטי שנוצר כולו על ידי GPT-4o, מה שאומר שהוא סוחב איתו את ההטיות, סגנון הניסוח והטעויות של המודל שיצר אותו. הכרטיס לא מפרט תאריכי חיתוך או שיטות סינון ידניות, ולכן חובה לדגום את הפלטים לפני שמכניסים אותם לאימון.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המדווח הוא apache-2.0, שמתיר שימוש מסחרי מלא ללא הגבלת הפצה. עם זאת, קחו בחשבון שהתוכן סונתז באמצעות GPT-4o, ולחברות מסוימות יש תנאי שימוש לגבי אימון מודלים מתחרים.
האם יש במאגר נתונים בעברית?
לא, המאגר מוגדר לשפה האנגלית בלבד ומבוסס על ערכים מתוך ויקיפדיה באנגלית. אם אתם בונים מערכת לקהל ישראלי תצטרכו לתרגם את הנתונים או להשתמש במקור אחר.
איך בדיוק המידע נאסף וסונן?
הטקסטים נלקחו מוויקיפדיה, והשאלות וההוראות סונתזו בעזרת GPT-4o כדי לייצר تنوع במשימות ובתרחישים. כרטיס המאגר לא מפרט תהליכי סינון ידניים או בדיקות איכות שנעשו לאחר היצירה.
האם המאגר דורש הרשמה מיוחדת או אישור גישה?
הגישה פתוחה לחלוטין לכל מי שמחזיק בחשבון Hugging Face רגיל. אפשר להוריד את קובץ ה־JSON ישירות מהמאגר או לטעון אותו בעזרת ספריית הקוד.
איך טוענים
טוענים את המידע ישירות מתוך הקובץ rag_instruct.json שנמצא במאגר, או באמצעות ספריית datasets של Hugging Face לפי הנתיב של הפרויקט. המאגר פתוח לחלוטין לציבור ואין צורך לבקש אישור גישה מראש או להמתין לאישור ידני.
לפני שמתחילים לרוץ כדאי לפתוח את הקובץ ולבדוק את מבנה המפתחות הפנימי של השאילתות והטקסטים המאוחזרים. כרטיס המודל לא מפרט את שמות השדות המדויקים, ולכן תצטרכו לכתוב קוד פריקה קצר שיתאים את המבנה לצינור האימון או ההערכה שלכם.
from datasets import load_dataset
ds = load_dataset("FreedomIntelligence/RAG-Instruct")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי הקוד והפצה מחדש. הדרישה העיקרית היא שמירת הקרדיט והודעת הרישיון המקורית. אין חובה לשתף מודלים שתאמנו תחת אותו הרישיון, מה שמשאיר גמישות מלאה לפיתוח מוצרים פנימיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים