idefics3

מה זה

אתם מעלים תמונה אחת, כותבים שאילתת טקסט ומקבלים תשובה כתובה. הקוד מחייב להזין שאלת טקסט, כך שאי אפשר פשוט לזרוק תמונה פנימה בלי הנחיה, אבל אפשר לשלוח טקסט לבד ללא תמונה כלל. בממשק יש גם תיבה מיוחדת שנקראת Assistant Prefix, שבה אפשר להזין תחילת תשובה קבועה מראש כדי לכוון את הכיוון של התוצאה, כמו פקודה לחשוב צעד אחר צעד או תגית קוד ראשונה.

מאחורי הקלעים רץ המודל Idefics3-8B-Llama3 של HuggingFaceM4. זהו מודל רב-מודאלי עם שמונה מיליארד פרמטרים שמבוסס על Llama 3, ומשתמש בספריית transformers כדי לקבל תמונה וטקסט ולייצר טקסט חדש. בהגדרות המתקדמות אפשר לשלוט על אסטרטגיית הדגימה, לשנות את הטמפרטורה, להגדיר ענישה על חזרתיות ולהגביל את כמות הטוקנים שייווצרו. הממשק מכיל גם דוגמאות מובנות להרצה מהירה כדי לבדוק איך הוא מגיב לשאלות על תמונות שונות.

מתאים ל

• ניתוח תמונה לפי שאלה

  מעלים תמונה ושואלים עליה שאלות כדי לבדוק מה המודל מצליח לזהות ולהבין מתוכה.

• יצירת קוד מתמונה

  מגדירים תחילית של קוד כמו תגית פתיחה ומבקשים לתרגם מבנה ויזואלי לטקסט תואם.

• בדיקת פרמטרים למודל

  משנים ערכי טמפרטורה ודגימה בהגדרות כדי לראות איך הם משפיעים על איכות התשובות.

איפה זה נופל

המודל הזה לא עבר שלב יישור התנהגות מבוסס משוב אנושי. בגלל זה, הוא עלול לא להישמע להנחיות במדויק או לפספס במשימות מורכבות, והמפתחים מציינים במפורש שצריך לפעמים לכוון אותו עם תחילית ידנית כדי לקבל פלט סביר. בנוסף, חובה להזין טקסט לצד התמונה, אחרת הממשק זורק שגיאה ולא מבצע עיבוד.

איך משתמשים

טוענים תמונה לתיבת הקלט, מקלידים הנחיה בתיבת הטקסט ולוחצים על Submit. התשובה מופיעה בתיבת הפלט בצד. המערכת מוגדרת לרוץ על חומרת zero-a10g, מה שאומר שהעיבוד מאיץ עם מעבד גרפי של אנבידיה כשיש בקשה, אך כרגע העמוד כולו במצב מושהה. כשהוא פעיל, הגישה חופשית ישירות מהדפדפן.

הרישיון

האפליקציה מופצת תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש חופשי בקוד, שינוי שלו והפצה מחדש, כולל למטרות מסחריות, בכפוף לשמירה על תנאי הרישיון והודעות זכויות היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗