AF-Think
קוד פתוחnvidiaother2025-07-10
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
חצי מיליון שאלות ותשובות שמלמדות מודלי אודיו להפעיל שרשרת חשיבה קצרה. אנבידיה בנו אותו כדי לתת למודלים יכולת הסקה לפי דרישה, אבל יש פה עבודת הכנה משמעותית.
- 956הורדות בחודש
- 26לייקים
מה זה
המאגר מכיל כ־500 אלף שלשות של שאלות, תשובות ותהליכי חשיבה על קטעי אודיו של עד 30 שניות. השאלות כוללות שאלות פתוחות ושאלות ברירה מרובה, כשהתשובות מגיעות עם קידומת חשיבה קצרה וסיומת מיוחדת שמפעילה את מנגנון ההסקה רק כשמבקשים ממנו. הדגימות נלקחו מתוך AudioSkills-XL ו־LongAudio-XL ומכסות צלילי סביבה, דיבור ומוזיקה.
התוכן מחולק ל־40 קבצי JSON נפרדים לפי מקורות האודיו המקוריים, ביניהם AudioSet, LibriSpeech, FreeSound, MusicCaps ועוד. הטקסטים והשאלות נוצרו בעזרת מודלי שפה על בסיס המטא-דטה של המאגרים המקוריים, יחד עם בדיקה אנושית ששכללה את הפרומפטים. אנבידיה מפיצה רק את קובצי הטקסט, כך שכל קובץ סאונד דורש הורדה ידנית מהמקור שלו.
מתאים ל
- אימון שרשרת חשיבה באודיו
לימוד מודלי שפה ואודיו לנמק ולהסביר צלילים קצרים לפני מתן התשובה הסופית.
- מענה קולי על שאלות
פיתוח מערכות שיחה שצריכות לזהות אירועים קוליים ולענות על שאלות ברירה מרובה.
- מחקר הבנת דיבור ומוזיקה
הערכת ביצועי מודלים במשימות סיווג וניתוח מעמיק של סצנות שמע שונות.
איפה זה נופל
הבעיה המרכזית היא שאין כאן אודיו, אלא רק תגיות טקסט שמפנות לעשרות מאגרים חיצוניים, חלקם דורשים אישורי גישה או חיתוך ידני של מקטעים. הדיבור כמעט כולו באנגלית, כך שאין שום כיסוי לשפות אחרות או לעברית. כל התשובות ותהליכי החשיבה סונתזו על ידי מודלי שפה, מה שמכניס הטיות והזיות פוטנציאליות לתוך תהליך הלמידה. שדה משך הזמן אינו מדויק בחלק מהמקרים, ותצטרכו לחשב אותו מחדש לבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון המרכזי של אנבידיה מוגדר למחקר בלבד ואוסר שימוש מסחרי מכל סוג. בנוסף, המידע הסינתטי כפוף למגבלות של OpenAI ושל Qwen Research License. כל ניסיון לבנות מודל למכירה על בסיס הנתונים האלה מפר את תנאי השימוש.
כמה שוקל הדאטהסט והאם הוא כולל את קובצי הקול?
המאגר בהאגינג פייס שוקל מעט מאוד כי הוא מכיל רק 64 קובצי טקסט ורשומות JSON. קובצי האודיו האמיתיים לא נמצאים בו בכלל. אם תרצו לאמן מודל, תצטרכו להוריד עשרות ג'יגה-בייטים של קול ישירות מעשרות אתרים חיצוניים.
האם יש במאגר דגימות קול או שאלות בעברית?
אין במאגר שום תוכן בעברית. הדיבור מבוסס כמעט לחלוטין על אנגלית ממקורות כמו LibriSpeech ו־DailyTalk. כל השאלות, התשובות ותהליכי ההסקה הסינתטיים נכתבו באנגלית בלבד.
איך המידע נאסף ואיך נוצרו התשובות?
האודיו נלקח מ־40 מאגרי קול פתוחים שונים ברשת. הטקסטים והשאלות נוצרו באופן סינתטי על ידי מודלי שפה שקיבלו את המטא-דטה של כל קובץ, כמו תמלולים ותיאורים. צוות אנושי בדק את הפלטים ושיפר את הפרומפטים בסבבים חוזרים.
איך טוענים
טוענים את המאגר דרך ספריית datasets עם השם nvidia/AF-Think והקונפיגורציה afthink. החלוקה מתבצעת ישירות לפי שמות המקורות, למשל urbansound8k. המאגר עצמו כולל 64 קבצים בפורמט JSON, ללא צורך באישור גישה מראש. בכל רשומה יש מזהה, שם קובץ הקול בתווית sound, ומערך שיחה של human ו־gpt. שדה משך הזמן אינו אמין ודורש חישוב ידני מחדש. בנוסף, חובה להוריד את קובצי האודיו עצמם מעשרות השרתים המקוריים לפי ההנחיות.
from datasets import load_dataset
ds = load_dataset("nvidia/AF-Think")הרישיון
השימוש כפוף לרישיון הלא-מסחרי של אנבידיה, NVIDIA OneWay Noncommercial License. אי אפשר לבנות בעזרתו שום מוצר מסחרי. החומרים הסינתטיים כפופים לתנאי השימוש של OpenAI ולרישיון המחקר של Qwen. מעבר לכך, כל מאגר אודיו מקורי מחזיק ברישיון משלו שאתם מחויבים לבדוק בנפרד לפני הורדה או שימוש בקבצים.