Qilin
קוד פתוחTHUIRapache-2.02025-02-23
מאגר נתונים רב מודאלי גדול של אינטראקציות משתמשים מאפליקציה, המשלב טקסט ותמונות. הוא מיועד למחקר ואימון מערכות חיפוש, המלצה וארכיטקטורות RAG מבוססות סשנים אמיתיים.
- 1,206הורדות בחודש
- 40לייקים
מה זה
המאגר מגיע ממעבדת THUIR של אוניברסיטת צ'ינגחואה, והוא מבוסס על סשנים של משתמשים ברמת האפליקציה. הנתונים מתחלקים לשני תרחישים מרכזיים: חיפוש והמלצה. בחלק של החיפוש יש 44,024 דוגמאות אימון ו 6,192 דוגמאות בדיקה, הכוללות מטא דאטה של שאילתות, יומני פעילות של המשתמשים וסימוני הקלקות בפועל. חלק ההמלצות כולל 83,437 רשומות אימון לצד 11,115 רשומות בדיקה, ומכיל היסטוריית גלישה, מאגרי פריטים מועמדים ומאפייני הקשר.
מבחינת מבנה התוכן, הנתונים משלבים מספר מודאליות שכוללות טקסט, תמונות ותמונות ממוזערות של סרטונים. המאגר באתר מסודר בתיקיות ייעודיות כמו dqa וקבצי parquet מרובי חלקים תחת notes, שמכילים את המידע הטקסטואלי והאינטראקציות, לצד תיוגים ברורים של הקלקות משתמשים ששימשו לבניית מדדי הערכה מלאים.
מתאים ל
- אימון מערכות חיפוש רב מודאלי
מודלים של דירוג שאילתות מול טקסט ותמונות על בסיס יומני הקלקות אותנטיים של משתמשים.
- בניית מנועי המלצות תוכן
אלגוריתמים לבחירת פריטים מתוך מאגר מועמדים לפי היסטוריית גלישה והקשר התנהגותי.
- הערכת ביצועי מודלי RAG
בדיקת איכות שליפה מתוך מאגר מסמכים מרובה רכיבים חזותיים עבור משימות מענה על שאלות.
איפה זה נופל
המאגר כולו מבוסס על השפה הסינית בלבד. אם המוצר שלכם פונה לקהל ישראלי או דורש עברית ואנגלית, הנתונים הטקסטואליים כאן לא יעזרו לכם ישירות ללא התאמות משמעותיות או תרגום מורכב.
בנוסף, הכרטיס לא מפרט את מקור האפליקציה המדויק, תאריכי האיסוף, או אילו סינונים והסרות של פרטי משתמשים בוצעו. חוסר המידע הזה מקשה לדעת אילו הטיות קיימות בהתנהגות המשתמשים ובמאגר הפריטים לפני שמשלבים אותו במערכת ייצור.
שאלות
נפוצות
האם הדאטהסט כולל תוכן בעברית?
לא, הדאטהסט מוגדר כולו בשפה הסינית. כל השאילתות, הרשומות והטקסטים הנלווים מגיעים מאפליקציה בסין. הוא לא מתאים לאימון מודלים המיועדים לעיבוד שפה בעברית.
איפה נמצאות התמונות של המאגר?
הקבצים ב Hugging Face מכילים בעיקר את הטקסט, המטא דאטה והאינטראקציות בפורמט parquet. קובצי המדיה והתמונות מאוחסנים בנפרד על שרת ענן של אוניברסיטת צ'ינגחואה, ויש להוריד אותם משם לפי הקישור שבתיעוד.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיונות המצוינים בעמוד הם apache-2.0 ורישיון MIT בטקסט, ושניהם מאפשרים עבודה מסחרית חופשית. יחד עם זאת, הסתירה בין השניים מחייבת בדיקה זהירה מול קובץ הרישיון המקורי בקוד כדי למלא את דרישות הייחוס.
במה הדאטהסט הזה שונה ממאגרי שליפה רגילים?
הוא מתמקד ברמת הסשן המלא של משתמש בתוך אפליקציה, ולא רק בצמדים מבודדים של שאלה ותשובה. בנוסף, הוא משלב מראש מידע רב מודאלי שכולל טקסט, תמונות ותמונות ממוזערות של וידאו לצד סימוני הקלקה של משתמשים.
איך טוענים
הטעינה מתבצעת ישירות מקבצי parquet דרך ספריית datasets או בהורדה מ Hugging Face, ללא צורך בהרשאת גישה מיוחדת. המאגר כולל 14 קבצים, והטקסט מאורגן בפיצול של חמישה קבצי parquet עיקריים תחת notes וקובץ dqa יחיד.
קחו בחשבון שהתמונות עצמן אינן יושבות במאגר הזה, אלא דורשות הורדה נפרדת משרת ענן חיצוני של אוניברסיטת צ'ינגחואה. מי שרוצה להריץ את סביבת הבסיס הרשמית יצטרך להוריד מראש גם מודלים נלווים, בהם Qwen2-VL בגרסאות 2B ו 7B, וכן מודל bert-base-chinese.
from datasets import load_dataset
ds = load_dataset("THUIR/Qilin")הרישיון
בדף המאגר מדווח רישיון apache-2.0, אך הטקסט של הכרטיס עצמו מציין רישיון MIT. שני הרישיונות מתירניים מאוד ומאפשרים שימוש מסחרי, שינוי והפצה, בכפוף למתן קרדיט מתאים. הם אינם מחייבים אתכם לפתוח את הקוד שלכם או לשתף מודלים שאומנו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים