MMaDA
רץ בדפדפןGen-Verseרישיון לא דווח2025-05-21
הדגמה למודל שפה ודיפוזיה רב-תחומי, שנועד לייצר טקסט, לנתח תמונות וליצור תמונות מטקסט. מיועד לחוקרים שרוצים לבחון שילוב של טקסט ותמונה בארכיטקטורה אחת.
- —הורדות בחודש
- 83לייקים
מה זה
מזינים טקסט או מעלים תמונה ומקבלים תשובה טקסטואלית, ניתוח רב-מודאלי או תמונה חדשה שנוצרת ישירות מתוך הפקודה. הממשק כולל מצב חשיבה מיוחד שאפשר להפעיל, לצד שליטה באורך הפלט, במספר צעדי הדגימה ובגודל הבלוקים של המודל. דוגמת ברירת המחדל בממשק בודקת חישוב נפח של תיבה כדי להציג יכולת הסקת מסקנות.
מאחורי הקלעים הקוד מתבסס על MMaDA-8B-MixCoT בשילוב מודל הראייה MAGVITv2 לצורך קידוד תמונות. המערכת משתמשת בתהליך דיפוזיה כדי לפענח וליצור טוקנים, בשונה ממודלי שפה רגילים שרצים בצורה סדרתית בלבד.
מתאים ל
- פתרון בעיות טקסטואליות
מזינים שאלות היגיון או בעיות חישוב ובודקים את שלבי הפתרון עם מצב חשיבה פעיל.
- הפקת תמונה מטקסט
כותבים תיאור מילולי ומקבלים תמונה שנוצרת באמצעות מפענח הווידאו והתמונה.
- ניתוח משולב של תמונה
מעלים קובץ תמונה ושואלים שאלה מילולית על מה שמופיע בתוכו.
איפה זה נופל
הבעיה המיידית היא שהעמוד מדווח על שגיאת ריצה ולא עובד כלל בדפדפן. בנוסף, הקוד דורש יחס מתמטי מדויק בין מספר הצעדים לאורך הבלוקים, ואם הערכים בסליידרים לא מתחלקים נכון המערכת מחזירה שגיאה. ההדגמה גם לא מתאימה לעבודה שוטפת בעברית, כי היא מאומנת בעיקר על אנגלית וכוללת מודלים כבדים שאינם מותאמים לריצה על מעבד רגיל.
שאלות
נפוצות
האם הכלי זמין כרגע לשימוש?
לא. העמוד נמצא במצב של שגיאת ריצה ולא מגיב. כל עוד המפתחים לא יתקנו את התקלה בשרת, הממשק מושבת לחלוטין.
האם השימוש כאן עולה כסף?
הגישה לעמוד פתוחה בחינם לכל מי שנכנס לדפדפן. אין דרישה לתשלום או להרשמה מראש.
כמה זמן לוקח לקבל תשובה?
המערכת מוגדרת על מעבד בסיסי ללא כרטיס גרפי. אם היא הייתה פעילה, יצירת פלט ממודל של שמונה מיליארד פרמטרים הייתה לוקחת מספר דקות לכל בקשה.
אפשר להריץ את המודל על מחשב אישי?
כן, הקוד מסתמך על מודלים ציבוריים כמו MMaDA-8B-MixCoT ו־MAGVITv2. כדי להריץ אותם מקומית באופן סביר דרוש מחשב עם כרטיס מסך חזק ותמיכה בטעינת משקלים כבדים.
איך משתמשים
בפועל בוחרים משימה מבין האפשרויות, כותבים הנחיה בתיבת הטקסט, מכוונים את הסליידרים של צעדי הדגימה ואורך הפלט, ולוחצים על כפתור ההרצה. הממשק פתוח ישירות בדפדפן בלי צורך בחשבון או בהתחברות מוקדמת. עם זאת, נכון לעכשיו אי אפשר להריץ דבר כי העמוד נמצא בשגיאת קריסה כללית. גם אם השגיאה תתוקן, הקוד מוגדר לרוץ על מעבד בסיסי בלבד, מה שאומר שעיבוד של מודל בגודל שמונה מיליארד פרמטרים ייקח דקות ארוכות מאוד לכל פעולה בודדת.
הרישיון
הרישיון של העמוד לא דווח על ידי המפתחים. במצב כזה אין אישור מפורש לשימוש מסחרי, ומומלץ להתייחס לקוד ולתוצרים ככאלה שמיועדים למחקר בלבד ולא להעלות חומרים רגישים.