InstructBLIP

מה זה

הממשק מבוסס על ספריית LAVIS וטוען את InstructBLIP, מודל שעבר כוונון לפי הוראות למשימות מגוונות של תמונה וטקסט. בצד אחד מעלים קובץ תמונה ומקלידים הנחיה בתיבת הטקסט, ובצד השני מקבלים את התשובה שהמודל מייצר בהתאם להוראה.

בנוסף להזנת התמונה והשאלה, יש שליטה בפרמטרים של ההסקה. אפשר לקבוע את האורך המינימלי והמקסימלי של התשובה, לבחור בין שיטות דגימה כמו Beam search או Top-p, ולהגדיר ענישה על חזרתיות או על אורך הפלט.

מתאים ל

• תיאור תמונות לפי הנחיה

  שליפת תיאור מילולי מותאם אישית של מה שמופיע בתמונה לפי בקשה ספציפית.

• מענה על שאלות חזותיות

  הצגת שאלה ממוקדת על פרטים מתוך התמונה וקבלת תשובה בטקסט.

• בדיקת פרמטרי יצירה

  בחינת ההשפעה של ענישה על חזרתיות ואורך על איכות הטקסט שנוצר.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת כרגע ונמצאת במצב שגיאה, ולכן אי אפשר להריץ בה בדיקות ישירות בעמוד. מעבר לכך, הקוד לא שומר דוגמאות מוכנות במטמון, ומודלים כאלה נוטים להיות אטיים על חומרת T4 בסיסית.

איך משתמשים

טוענים תמונה, מקלידים הנחיה בתיבת הפרומפט, מכוונים את הסליידרים של היצירה אם רוצים, ולוחצים על Run. ההדגמה מוגדרת לרוץ על מעבד גרפי מסוג T4-medium, אך כרגע המצב שלה מדווח כשגיאת זמן ריצה (RUNTIME_ERROR), כך שהיא לא תגיב בפועל אלא אם משכפלים אותה לסביבה תקינה.

הרישיון

הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד או בתוצרים, ויש לבדוק את תנאי השימוש המקוריים של ספריית LAVIS והמודל עצמו לפני שמסתמכים עליהם.

הרישיון המלא ב־Hugging Face ↗