Eagle-X5-13B-Chat

מה זה

הממשק מבוסס על שילוב של תמונה וטקסט. אתם מעלים קובץ תמונה לתיבה הייעודית, כותבים שאלה או הנחיה בתיבת הטקסט, ומקבלים פלט מילולי בחלון השיחה. בקוד מוגדרים פרמטרים לשליטה בפלט, כולל שינוי טמפרטורה, Top P וכמות טוקנים מקסימלית שמגיעה עד 1024.

מתחת למכסה המנוע רצה ארכיטקטורה מורכבת שמשלבת מודלים שונים לראייה ממוחשבת וטקסט. בין הרכיבים נמצאים SAM של פייסבוק לחיתוך מקטעים, מודלי Pix2Struct של גוגל לפענוח מבנה וטקסט מתוך תמונות, ומספר גרסאות של מודלי CLIP מבית LAION שמבוססים על ConvNeXt לחילוץ מאפיינים חזותיים. השילוב הזה מעבד את התמונה ומזין אותה למודל השפה שמייצר את התשובה.

מתאים ל

• תיאור ופענוח תמונות

  העלאת תצלום לקבלת הסבר מילולי מפורט על מה שמופיע בו.

• חילוץ מידע חזותי

  שאילת שאלות ישירות על פרטים, עצמים או טקסטים שמופיעים בתוך תמונה.

• בדיקת יכולות ראייה

  השוואת ביצועי המודל מול מודלי ראייה אחרים על בסיס אותן תמונות.

איפה זה נופל

הבעיה המיידית היא שהיישום לא פעיל ומדווח על שגיאת ריצה. מעבר לזה, רשימת המודלים בקוד ארוכה ומורכבת, כך שקשה לדעת מראש איזה חלק אחראי לכל טעות בפלט. המודל מתמקד בניתוח תמונה אחת מול הנחיה בודדת בשיחה, ואינו מיועד למשימות שדורשות עיבוד וידאו או יצירת תמונות חדשות.

איך משתמשים

במצב תקין, אתם גוררים תמונה, מקלידים שאלה ולוחצים על Send. המערכת מוגדרת לרוץ על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, מה שאמור לספק תגובות מהירות בלי התקנות מוקדמות או צורך בהרשמה.

בפועל, כרגע אין אפשרות להריץ שום דבר. היישום נמצא במצב של שגיאת ריצה, ולכן הדף לא יגיב לפעולות שלכם עד שהמפתח יתקן את התקלה ויעלה את השרת מחדש.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון cc-by-nc-sa-4.0. הרישיון אוסר שימוש מסחרי מכל סוג ומחייב שיתוף תחת תנאים זהים, כך שאפשר להשתמש בו רק לצרכי מחקר, בדיקות אישיות או לימודים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗