חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
I

imageinwords-explorer

רץ בדפדפן

googleרישיון לא דווח2024-05-03

  • gradio

הכלי מציג דוגמאות מתוך מאגרי תמונות עם תיאורים מפורטים במיוחד של גוגל. הוא מיועד לחוקרים שמחפשים דאטה למודלי ראייה ושפה ולא מעוניינים להוריד את הקבצים מראש.

  • —הורדות בחודש
  • 48לייקים

מה זה

לא מעלים כאן תמונות משלכם ולא מריצים מודל שמייצר טקסט חדש. הממשק מציג דוגמאות מוכנות מתוך ארבעה מאגרים שונים של פרויקט ImageInWords, כולל גרסאות כמו IIW-400 או DOCCI_Test. בוחרים מאגר, מזיזים סליידר בין הדוגמאות, והמסך מציג תמונה לצד תיאורים מילוליים ארוכים במיוחד שנכתבו או נבדקו עבורה.

מתחת למכסה המנוע הקוד פשוט טוען נתונים מחבילת datasets של Hugging Face תחת השם google/imageinwords. לצד התמונה מוצגים מזהה התמונה, טקסט מפורט מסוג iiw_text, גרסה בשם iiw_p5b_text, ודירוגים שניתנו לתיאור. המטרה היא להמחיש את איכות ורמת הפירוט של הדאטהסט ולאפשר הצצה ידנית בדפדפן בלי לכתוב שורת קוד אחת בפייתון.

מתאים ל

  • בדיקת איכות התיאורים

    צפייה מהירה ברמת הפירוט של הטקסטים שנאספו במאגר לפני שמחליטים להוריד אותו למחשב.

  • השוואת גרסאות טקסט

    השוואה בין תיאורי iiw רגילים לבין גרסאות iiw_p5b והדירוגים שניתנו להם עבור אותה תמונה.

  • דפדוף במאגרים השונים

    מעבר בין IIW-400, DOCCI_Test ו־CM_3600 כדי לראות את סוגי התמונות שנכללו בכל חלוקה.

איפה זה נופל

הבעיה המרכזית היא שהעמוד נמצא כרגע במצב של תקלה ולא נטען בדפדפן. מעבר לזה, הממשק הוא צפיין נתונים בלבד ולא כלי לעיבוד תמונות חדשות. אי אפשר לבדוק עליו איך התיאורים האלה נוצרו, ואי אפשר להזין תמונה מהמחשב כדי לקבל עליה פירוט.

שאלות
נפוצות

האם אפשר להעלות תמונה משלי ולקבל תיאור?

לא. הממשק הזה הוא צפיין בלבד שמציג רשומות מתוך מאגר נתונים מוכן. אין כאן מודל פעיל שמקבל קבצים חדשים או מייצר טקסט בזמן אמת.

האם השימוש בעמוד עולה כסף?

הצפייה בעמוד היא בחינם ואינה דורשת תשלום או מנוי. כל מה שצריך זה דפדפן, בתנאי שהשרת למעלה ומציג את הממשק.

למה הממשק לא נטען אצלי?

האפליקציה נמצאת כרגע במצב של שגיאת ריצה בקוד. עד שהיוצרים יתקנו את התקלה בטעינת הנתונים, אי אפשר להשתמש בה ישירות באתר.

האם אפשר להריץ את זה מקומית?

כן, הקוד מבוסס על ספריית gradio וספריית datasets הפתוחות. אפשר להעתיק את הקובץ למחשב, למשוך את המאגר ולהריץ אותו בסביבת פייתון מקומית.

איך משתמשים

בפועל בוחרים כפתור רדיו מתוך ארבעת המאגרים וגוררים את הסליידר כדי לעבור בין הרשומות. אין צורך בהתחברות או בהזנת טוקן אישי. הכל אמור לרוץ על מעבד בסיסי, אבל נכון לעכשיו העמוד מדווח על שגיאת ריצה כללית והממשק לא מגיב. כשהקוד תקין, המעבר בין הדוגמאות מציג נתונים מוכנים מראש ולא דורש זמן עיבוד של מודל כבד.

הרישיון

הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד התצוגה, והדאטה עצמו כפוף לתנאי השימוש של מאגר google/imageinwords המקורי.

הרישיון המלא ב־Hugging Face ↗