AnyInstruct
קוד פתוחOpenMOSS-Teamרישיון לא דווח2024-02-20
המאגר כולל 108 אלף שיחות מולטימודליות משולבות טקסט, דיבור, תמונות ומוזיקה. מי שבונה מודל שצריך לטפל בכמה חושים בו זמנית ימצא כאן שילוב נדיר שנוצר כולו במודלים סינתטיים.
- 155הורדות בחודש
- 41לייקים
מה זה
כל הרשומות במאגר הן דיאלוגים מרובי אופנויות שנבנו בתהליך סינתטי מלא. הצוות ייצר תחילה שיחות טקסטואליות בעזרת GPT-4, ומשם המשיך ליצירת המדיה הנלווית: תמונות הופקו ב־DALL-E 3, קטעי מוזיקה הולחנו דרך MusicGen, ורצועות הקול סונתזו באמצעות ה־API של Azure Text-to-Speech עם 39 גווני קול שונים ומהירויות דיבור משתנות.
התוכן מחולק לכמה תיקיות עיקריות. החלקים part1 ו־part2 מרכזים 108 אלף דיאלוגים הכוללים כ־205 אלף תמונות, 503 אלף הקלטות קול ו־113 אלף רצועות מוזיקה. לצדם יש תיקיית speech_conv שמחזיקה 108 אלף שיחות קוליות שנוקו ממאגרי הוראות טקסטואליים קיימים, ותיקיית data_construction שמציגה את שלבי הביניים כמו תרחישים, נושאים ותיאורים.
מתאים ל
- אימון מודלים מולטימודליים
לימוד מודל יחיד להתמודד עם קלט ופלט שמשלבים טקסט, אודיו, מוזיקה ותמונה ברצף אחד.
- מחקר על נתונים סינתטיים
בדיקת היכולת של מודלים ללמוד משיחות מורכבות שנוצרו לגמרי על ידי בינה מלאכותית.
- הערכת סוכני שיחה קוליים
בחינת יכולות מענה קולי מגוון תוך שימוש ב־39 גווני קול שונים שנכללים בקבצים.
איפה זה נופל
הנתונים כולם סינתטיים ומבוססים על תוצרי מודלים מסחריים כמו GPT-4 ו־DALL-E 3. אין כאן נתוני שפה טבעית שנאספו מבני אדם אותנטיים, מה שמכניס הטיות מובנות של המודלים המייצרים. בנוסף, הכרטיס לא מדווח על תמיכה בשפות מעבר לאנגלית, כך שלעברית אין כאן תיעוד. התמונות מוקטנות מאוד וחלק מהקבצים דורשים חילוץ ידני מארכיונים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפיתוח מוצר מסחרי?
לא מומלץ בכלל. יוצרי המאגר לא פרסמו רישיון שימוש, ובלי רישיון מפורש אין זכות שימוש חוקית. מעבר לזה, המידע מבוסס על שירותי OpenAI ומיקרוסופט, שמגבילים בחוזי השימוש שלהם אימון של מודלים מסחריים מתחרים.
האם יש במאגר שיחות בעברית?
הכרטיס לא מזכיר תמיכה בעברית או בכל שפה שאינה אנגלית. כל השיחות, הנושאים והקולות סונתזו במקור בכלים גלובליים ללא התאמה מקומית, ולכן מומלץ לבדוק את קובצי ה־JSON לפני שמסתמכים עליו לשפה שאינה אנגלית.
מאיפה הגיעו קבצי המדיה שבדאטהסט?
הטקסטים נוצרו על ידי GPT-4. התמונות נוצרו במקור ב־DALL-E 3, קטעי המוזיקה הופקו במודל MusicGen, ודיבוב השיחות נעשה דרך מנוע הדיבור של Azure עם עשרות קולות שונים.
באיזו איכות מגיעות התמונות בתוך המאגר?
התמונות כאן הוקטנו לגודל של 224 על 224 פיקסלים במטרה לחסוך נפח אחסון. הצוות מספק קישור למאגר מקביל שבו אפשר להוריד את התמונות ברזולוציה המקורית של 1024 על 1024 פיקסלים.
איך טוענים
הנתונים יושבים במבנה של קבצי ארכיון כמו images_224.tar לצד קבצי json שמחזיקים מטא-דאטה וטקסטים. התמונות במאגר זה עברו כיווץ לרזולוציה של 224 על 224 פיקסלים כדי לחסוך מקום, אך אם אתם חייבים איכות מקורית של 1024 על 1024, תצטרכו למשוך אותן ממאגר נפרד שהצוות קישר אליו. הגישה למאגר פתוחה ישירות ללא צורך באישור מוקדם.
from datasets import load_dataset
ds = load_dataset("OpenMOSS-Team/AnyInstruct")הרישיון
היוצרים לא ציינו רישיון שימוש בדף המאגר. מבחינה משפטית, היעדר רישיון אומר שכל הזכויות שמורות ואין לכם אישור מוגדר להשתמש במידע, לא למטרות מחקר ולא למטרות מסחריות. בנוסף, הנתונים נוצרו באמצעות כלים של OpenAI ואז'ור, מה שמציב הגבלות שימוש נוספות על אימון מודלים מתחרים. אי אפשר לבנות על זה מוצר מסחרי בראש שקט.