magma

מה זה

אתם מעלים קובץ תמונה, מקלידים טקסט או שאלה, ומקבלים השלמת טקסט בהתאם למה שמופיע בה. הממשק כולל דוגמאות מובנות כמו בקשה לתיאור ציור נוף, או שאלה ישירה לגבי גיל של אדם בתמונה בתבנית שאלה ותשובה.

מאחורי הקלעים רץ המודל osanseviero/magma, שנשען על ארכיטקטורה של התאמת מודלי שפה גדולים לקלט חזותי. הקוד מתייחס למשפחת מודלים הכוללת בין היתר את gpt-j-6b, gpt-neo-2.7B ו־gpt2, ומוריד את המשקולות ישירות ממאגר מרוחק כדי לחבר בין הראייה ליצירת הטקסט.

מתאים ל

• תיאור תמונות באנגלית

  מעלים תמונה ומבקשים תיאור קצר של האלמנטים המרכזיים שמופיעים בה.

• מענה על שאלות חזותיות

  מזינים שאלה פשוטה על פרט מסוים בתמונה, למשל הערכת גיל של אדם.

• בדיקת פרמטרי דגימה

  שינוי ערכי טמפרטורה ו־Top K כדי לראות איך הם משפיעים על יציבות התשובה.

איפה זה נופל

כרגע הדף מוגדר במצב של תקלת ריצה, כך שאי אפשר להשתמש בו ישירות בדפדפן בלי לתקן את הסביבה. מעבר לזה, המודל מוגבל לעד 100 טוקנים של פלט, חומרת ה־CPU הבסיסית לא מתאימה לעיבוד מודלים בסדר גודל כזה, ואין כאן תמיכה בעברית לפי המבנה של ההנחיות והאימון המקורי.

איך משתמשים

בממשק בוחרים תמונה, כותבים הנחיה, וקובעים פרמטרים כמו מספר טוקנים בין 1 ל־100, טמפרטורה, וערך Top K. יש גם תיבת סימון לסידור מחדש של ההנחיה, וכפתור הפעלה שמכניס את הבקשה לתור מובנה. החומרה שמוקצית כאן היא מעבד בסיסי בלבד, מה שמבטיח פעולה אטית מאוד ביחס לעיבוד מודלים כאלה, אם הממשק בכלל מצליח להיטען.

הרישיון

הרישיון שמוגדר הוא cc-by-4.0, שמאפשר שימוש, שינוי והפצה כולל למטרות מסחריות, כל עוד נותנים קרדיט מתאים. התמונות והטקסטים שמוזנים מועברים דרך השרת שמארח את ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗