OpenFlamingo

מה זה

מעלים תמונה וטקסט, והמערכת מחזירה פלט טקסטואלי בהתאם למשימה שנבחרה. הממשק מחולק ללשוניות לפי סוגי משימות: כתיבת תיאור לתמונה, זיהוי בעלי חיים, ספירת עצמים, מענה על שאלות חזותיות, ולשונית מותאמת אישית שבה בונים את הדוגמאות מאפס.

מאחורי הקלעים הקוד טוען את משקולות OpenFlamingo-9B-vitl-mpt7b ומבוסס על שילוב של מודל שפה mpt-7b לצד ראייה ממוחשבת. הטכניקה מבוססת על מתן שתי דוגמאות מוקדמות של תמונה וטקסט כדי לכוון את התשובה לתמונה השלישית שאתם מעלים.

מתאים ל

• תיאור תמונות אוטומטי

  העלאת תמונה וקבלת תיאור טקסטואלי קצר לפי סגנון של שתי דוגמאות מוכנות מראש.

• מענה על שאלות מתמונה

  הצגת תמונה ושאילת שאלה ספציפית על הפרטים שמופיעים בה כדי לקבל תשובה מילולית.

• ספירת עצמים בצילום

  בדיקת כמות הפריטים או החיות בתוך תמונה לפי דוגמאות ספירה שמזינים מראש.

איפה זה נופל

הבעיה המיידית היא שהחלל מושבת בגלל שגיאת ריצה, ולכן אי אפשר לבדוק אותו בדפדפן כרגע בלי לתקן את הקוד או להריץ עצמאית. בנוסף, המבנה מחייב תבנית קשיחה של שתי דוגמאות מקדימות לפני שמקבלים מענה על התמונה שלכם, כך שאי אפשר פשוט לזרוק תמונה אחת בלי הקשר ולצפות לתוצאה טובה.

איך משתמשים

בפועל אתם מסמנים תיבת אישור לתנאי השימוש, בוחרים לשונית, מעלים את התמונה לשדה המתאים, ממלאים שאלה אם צריך, ולוחצים על כפתור ההרצה. אם לא תסמנו את תיבת התנאים או שתשאירו שדות ריקים, תקבלו שגיאה ישירה בממשק. ההדגמה הוגדרה לרוץ על מעבד גרפי a10g-large, אבל נכון לעכשיו היא נמצאת במצב של שגיאת ריצה ולא תגיב בלחיצה.

הרישיון

הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד ההדגמה או לגבי הזכויות על התוכן והתמונות שמועלים אליו.

הרישיון המלא ב־Hugging Face ↗