ugen-image-captioning
רץ בדפדפןaavetisרישיון לא דווח2023-12-28
העלאת תמונה וקבלת תיאור טקסטואלי מפורט לפי הנחיה מותאמת. פתרון ממוקד למי שרוצה לבדוק יכולות של מודל ראייה ושפה קל משקל בלי לכתוב שורת קוד אחת.
- —הורדות בחודש
- 48לייקים
מה זה
אתם מעלים תמונה בפורמט סטנדרטי דרך הדפדפן, מקלידים הנחיה בתיבת טקסט, ומקבלים תיאור מילולי מפורט של מה שמופיע בה. כברירת מחדל ההנחיה המובנית מבקשת לתאר את התמונה לפרטי פרטים, אבל אפשר לערוך אותה ידנית כדי לכוון את רמת הפירוט או המיקוד של הטקסט שנוצר.
מאחורי הקלעים רץ המודל uform-gen של חברת unum-cloud, מודל ויז'ואל קטן יחסית ממשפחת ה־VLM שנועד לעבוד ישירות על מאיץ גרפי. הקוד משתמש במעבד התמונות והטקסט הרשמי של המודל כדי להמיר את הקלט לפלטים טקסטואליים, בלי עיבודים מורכבים נוספים מסביב.
מתאים ל
- תיאור תמונות אוטומטי
יצירת טקסט חלופי עבור תמונות או אתרים על בסיס זיהוי הפרטים בקובץ.
- בדיקת מודל uform-gen
בחינת יכולות הבנת התמונה של המודל הספציפי לפני שמורידים ומריצים אותו מקומית.
- תיוג מאגרי תמונות
הפקת תיאורים ראשוניים לקבצים גרפיים בעזרת הנחיות מותאמות אישית.
איפה זה נופל
הבעיה המרכזית היא שהחלל נמצא כרגע במצב שגיאת ריצה, ולכן אי אפשר להריץ אותו ישירות בדפדפן בלי שהיוצר יתקן את הקוד או את התלויות. מעבר לזה, הממשק לא כולל תמונות לדוגמה לבדיקה מהירה, ואין בו פרמטרים מתקדמים לשליטה באורך הפלט או בטמפרטורת הדגימה מעבר להנחיה הבסיסית.
שאלות
נפוצות
האם השימוש בממשק עולה כסף?
הגישה להדגמה בדפדפן היא חינמית לחלוטין ופתוחה לכל אחד. אין צורך לשלם על זמן המעבד הגרפי שהוקצה עבורה, אבל כרגע היא ממילא מושבתת בגלל שגיאת ריצה.
האם אפשר להריץ את הכלי הזה מקומית?
כן, קוד הריצה פשוט מאוד ומשתמש בספריית uform ובמודל uform-gen הזמין ברשת. אפשר להוריד את הקוד מתוך קובץ ה־app.py ולהריץ אותו על מחשב עם כרטיס מסך מתאים ותמיכה ב־CUDA.
מה קורה לקבצים שמעלים למערכת?
התמונות נשלחות לעיבוד בשרתי החלל של גרדיו כדי להפיק את התיאור. הממשק לא מצהיר על שמירה קבועה, אך בהיעדר מדיניות פרטיות מוצהרת לא כדאי להעלות קבצים רגישים או אישיים.
איך משתמשים
גוררים תמונה לתיבת הקלט, עורכים את ההנחיה אם רוצים ניסוח ספציפי, ולוחצים על כפתור ההפעלה של ממשק גרדיו. העיבוד מוגדר לרוץ על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה, כך שזמן התגובה תלוי בזמינות החומרה הזו ברגע נתון. אין צורך בהרשמה או התחברות כדי לגשת לממשק הציבורי בדפדפן.
הרישיון
הרישיון של החלל עצמו לא דווח בעמוד המקור. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בהדגמה הזו, וזכויות השימוש בתוכן ובתוצרים נשארות לא מוגדרות מבחינה משפטית.