fuyu-8b-demo
רץ בדפדפןadeptרישיון לא דווח2023-10-18
adept עומדים גם מאחורי Twitter, ויש עליו סקירה כאן.
העלאת תמונות או צילומי מסך כדי לקבל עליהם תשובות, תיאורים ומציאת מיקומי טקסט. הממשק מיועד למי שרוצה לבדוק יכולות של מודל ראייה ושפה ישירות מהדפדפן.
- —הורדות בחודש
- 308לייקים
מה זה
אתם מעלים קובץ תמונה ומקבלים פלט טקסטואלי או סימון חזותי על גבי התמונה, לפי הלשונית שבחרתם. בלשונית הראשונה מקלידים שאלה על התמונה ומקבלים תשובה בתיבת טקסט. הלשונית השנייה מייצרת תיאור לתמונה, עם אפשרות לסמן תיבה לקבלת תיאור מפורט יותר. הלשונית השלישית מקבלת צילום מסך ומחרוזת טקסט לחיפוש, ומחזירה תמונה מסומנת עם המיקום המדויק של הטקסט שביקשתם.
מאחורי הממשק רץ המודל adept/fuyu-8b דרך ספריית transformers, באמצעות המחלקות FuyuForCausalLM ו־FuyuProcessor. הקוד כולל דוגמאות מוכנות מראש בכל אחת מהלשוניות כדי להמחיש את סוגי השאלות והתמונות המתאימים.
מתאים ל
- מענה לשאלות על תמונות
מעלים תמונה, כותבים שאלה ומקבלים תשובה טקסטואלית ישירה על הפרטים שמופיעים בה.
- יצירת תיאור לתמונה
טוענים תמונה ומפיקים תיאור קצר או מפורט של מה שמוצג בה בעזרת סימון תיבה מתאימה.
- איתור טקסט בצילומי מסך
מזינים צילום מסך ומחרוזת לחיפוש כדי לקבל תמונה עם סימון המיקום של הטקסט.
איפה זה נופל
הבעיה המיידית היא שההדגמה כלל אינה פועלת כרגע עקב שגיאת ריצה. מעבר לכך, הממשק מחולק לשלוש משימות מוגדרות מראש ולא מאפשר שיחה חופשית ומתמשכת ברצף. אם הקלט בחיפוש הטקסט לא תואם למבנה שהקוד מצפה לו, נזרקת שגיאה על מחרוזת לא תקינה במקום לנסות להתמודד עם הניסוח.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
לא. האפליקציה מדווחת על שגיאת ריצה במערכת, ולכן הממשק לא מעבד בקשות חדשות עד לתיקון מצד המפרסם.
האם צריך לשלם כדי להריץ אותה?
לא מופיע תשלום עבור השימוש בהדגמה עצמה. היא מוגדרת על חומרת ענן מסוג a10g-small, אך כאמור אינה זמינה בפועל עקב תקלה.
האם אפשר להריץ את זה באופן מקומי?
כן, הקוד מבוסס על transformers וטוען את המודל adept/fuyu-8b. אפשר להוריד את הקוד והמשקלים ולהריץ אותם על מחשב עם מעבד גרפי מתאים.
במה הממשק שונה מהרצת המודל ישירות?
הממשק מגביל את האינטראקציה לשלושה תרחישים קבועים מראש באמצעות כרטיסיות. הרצה ישירה בקוד מאפשרת גמישות מלאה בהנחיות ובפרמטרי הפענוח.
איך משתמשים
בוחרים אחת משלוש הלשוניות בממשק, גוררים תמונה לתיבת הקלט, מקלידים שאלה או טקסט לחיפוש, ולוחצים על כפתור ההפעלה הייעודי. הדוגמאות בעמוד נשמרות במטמון ולכן מוצגות מהר יותר. ההדגמה מוגדרת לרוץ על חומרת a10g-small, אבל נכון לעכשיו היא נמצאת במצב של שגיאת ריצה, כך שאי אפשר להפעיל אותה בדפדפן עד שהמפתח יתקן את הבעיה בקוד או בהגדרות.
הרישיון
הרישיון של ההדגמה לא דווח במאגר. בהיעדר הגדרה ברורה, אין אישור מפורש לשימוש מסחרי בקוד או בפלטים, ולא ידוע מהם תנאי הפרטיות לגבי תמונות שמועלות אליה.