MGM

מה זה

מעלים תמונה לתיבת הקלט, כותבים שאלה או הנחיה בטקסט, ומקבלים ניתוח כתוב בצ'אט. הממשק כולל גם כפתור בחירה ליצירת תמונה, כך שאפשר לבקש ממנו להסביר משהו ויזואלי וגם להפיק תמונה תואמת כחלק מהתשובה.

מאחורי הקלעים רץ שילוב כבד של מודלים. המערך נשען על MGM-13B-HD לעיבוד השפה והראייה, יחד עם מקודדים כמו CLIP של אופנאיי, EVA, ודגמי ConvNeXt. בצד יצירת התמונות משולב הצינור של Stable Diffusion XL Base. בנוסף מופיעים שם דגמי שפה קטנים מסדרת opt של פייסבוק לצורכי תמיכה.

דוגמאות הממשק מציגות הסבר על ממים מצחיקים ובקשה לייצר תמונה של סוף השבוע, רעיונות ליצירה מצמר, זיהוי חריגות בתמונות ספורט מוזרות, ופירוט אזהרות בטיחות למבקרים בנוף מסוים.

מתאים ל

• הסבר ממים ויצירת המשך

  פענוח הבדיחה בתמונה והפקת תמונה חדשה שמתאימה להקשר.

• זיהוי פרטים חריגים

  איתור אלמנטים מוזרים או יוצאי דופן בתוך צילומים מורכבים.

• הנחיות בטיחות לצילום

  קבלת רשימת אזהרות והמלצות זהירות על בסיס תמונת שטח או נוף.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה בכלל לא עולה ונמצאת במצב שגיאה. מעבר לכך, הדוגמאות המובנות לא נשמרות מראש בזיכרון מטמון, כך שכל בדיקה דורשת חישוב מלא. מודל הראייה מוגבל לעד 1024 תווים בתשובה לפי המחוון, והשילוב עם יצירת תמונות כבדה מוסיף נקודות כשל רבות בזמן העיבוד.

איך משתמשים

טוענים תמונה, מקלידים את ההנחיה בתיבת הטקסט ולוחצים על שליחה. יש אפשרות לפתוח תפריטי הגדרות כדי לשנות ערכי יצירתיות, אורך תשובה מקסימלי, או להפעיל את מתג יצירת התמונה. הריצה עצמה נשענת על מאיץ A10G שמוקצה לפי דרישה, מה שאמור לספק מענה תוך שניות ספורות בשיחה רגילה, אבל דורש זמן עיבוד נוסף כשיצירת התמונה פועלת. כרגע לא תצליחו להריץ אותה ישירות בדפדפן מפני שהיא תקועה במצב של שגיאת ריצה.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים. לגבי התמונות שמעלים והפלט שנוצר, הכל עובר דרך שרתי זירו של האגינג פייס ומוצג תחת תנאי השירות שמקושרים בממשק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗