idefics-8b

מה זה

מעלים תמונה, כותבים שאלה קצרה בתיבת הטקסט ומקבלים ניתוח כתוב. מתחת למכסה המנוע רץ המודל idefics2-8b של HuggingFaceM4, שמיועד לעיבוד משולב של תמונה וטקסט. הממשק כולל דוגמה מובנית של שאילתת שאלות על גבי מסמך, שבה הוא סופר פריטים שנמכרו לפי תמונה של טופס.

אפשר לשלוט גם על אופן יצירת הטקסט דרך תפריט מתקדם, כולל שינוי טמפרטורה, אורך מקסימלי של תשובה, ענישה על חזרתיות ובחירה בין דגימת Top P לבין פענוח חמדן. אין כאן מנגנון של שיחה מתמשכת אלא מענה ישיר וממוקד לכל תמונה ושאילתה בנפרד.

מתאים ל

• שאלות על מסמכים

  חילוץ נתונים מתוך תמונות של חשבוניות, טפסים ודוחות לפי שאילתות ספציפיות.

• תיאור תוכן חזותי

  מענה על שאלות בנוגע לעצמים, כמויות ופרטים שמופיעים בצילומים שונים.

• בדיקת פרמטרים לפענוח

  השוואה מהירה בין שיטות פענוח שונות ושינויי טמפרטורה על ביצועי המודל.

איפה זה נופל

היוצרים מציינים במפורש שהגרסה הזו לא נבנתה לצ'אט חופשי, כך שאם תנסו לנהל איתה דיאלוג תקבלו תוצאות מאכזבות. אי אפשר לשלוח תמונה בלי טקסט, והמערכת דורשת שאילתה מפורשת לצד הקובץ. בנוסף, בהיותו במצב מושהה, הוא לא זמין כרגע לשימוש מיידי ישירות בדפדפן בלי הפעלה מחדש.

איך משתמשים

לוחצים על העלאת תמונה, מקלידים את השאלה ולוחצים על כפתור השליחה. ההרצה מוגדרת על חומרת zero-a10g שמקצה כרטיס גרפי בעת הצורך, מה שבדרך כלל נותן תוצאות תוך שניות בודדות. עם זאת, נכון לעכשיו המרחב נמצא במצב מושהה, כך שכדי להפעיל אותו תצטרכו להעיר אותו מחדש בחשבון שלכם.

הרישיון

הקוד והמודל מופצים תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, שינוי והפצה של הקוד והמשקלים. המידע שתעלו מעובד דרך התשתית של האתר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗