describe-anything-model-demo
רץ בדפדפןnvidiaרישיון לא דווח2025-04-21
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
הכלי מייצר תיאורי טקסט מפורטים לחלקים ספציפיים מתוך תמונה או וידאו לפי מיקום מדויק. הוא מיועד לחוקרים ומפתחים שרוצים לבחון כיתוב ממוקד אובייקטים.
- —הורדות בחודש
- 344לייקים
מה זה
מעבירים כאן תמונה מקודדת בבסיס 64 יחד עם מסיכה שמגדירה את האזור הרצוי, ומוסיפים שאלת הנחיה בטקסט. בתמורה מקבלים תיאור מילולי ממוקד לאותו אזור, בהזרמה של מילים בזמן אמת או בטקסט מלא בבת אחת.
מאחורי הקלעים הקוד מחבר בין שני מנועים: מודל הסגמנטציה של מטא, sam-vit-huge, לחיתוך האזורים, ומודל DAM-3B שמרכיב את ההסבר הטקסטואלי. לפי מבנה הקוד, הממשק מחולק לשלושה לוחות עבודה פשוטים להפקת שיקועים ולתיאור מסיכות, בלי גלריית דוגמאות מובנית.
מתאים ל
- תיאור אזור ממוקד
שליחת תמונה עם מסיכה מתאימה לקבלת תיאור טקסטואלי מדויק עבור אובייקט בודד.
- הפקת שיקועים לתמונה
יצירת ייצוג וקטורי מבוסס base64 מתמונה לצורך הזנה למודלים אחרים.
- בדיקת תיאור בהזרמה
בחינת תגובת מודל DAM-3B לפרומפט טקסטואלי תוך הזרמת התוצאה בזמן אמת.
איפה זה נופל
המגבלה המיידית היא שההדגמה מושבתת ואינה פעילה כרגע בשרת. בנוסף, הממשק אינו מאפשר סימון גרפי בעכבר על גבי תמונה, אלא מחייב אתכם לקודד תמונה ומסיכה למחרוזות טקסט עוד לפני השליחה. ההדגמה בודקת בעיקר את ממשקי התקשורת של המודל ולא מספקת חוויית משתמש שלמה לעבודה עם וידאו.
שאלות
נפוצות
האם האפליקציה זמינה לשימוש כרגע?
לא, נכון לעכשיו היא נמצאת במצב מושהה בשרת. כדי להשתמש בה יש להמתין שהיוצרים יפעילו אותה מחדש או להוריד את הקוד ולהריץ אותו באופן עצמאי.
האם אפשר להריץ את הכלי מקומית?
כן, הקוד ומודל DAM-3B זמינים להורדה ומאפשרים פריסה עצמאית. תצטרכו סביבת פייתון מתאימה ומעבד גרפי שתומך במודלים הכבדים של המערכת.
האם מעלים לכאן קובצי תמונה רגילים?
לא ישירות דרך חלון העלאה רגיל. הקוד מוגדר לקבל מחרוזות base64 של התמונה והמסיכה, כך שצריך להמיר את הקבצים לטקסט לפני השליחה.
מה קורה עם המידע שמוזן למערכת?
לא פורסם מידע על שמירת הנתונים ואין פירוט רישיון רשמי בעמוד. מומלץ לא לשלוח תמונות רגישות או מידע פרטי דרך הממשק.
איך משתמשים
כרגע אי אפשר להריץ אותה בדפדפן כי היא נמצאת במצב מושהה. בעבודה רגילה היא מוגדרת לפעול על חומרת zero-a10g, כך שאין צורך בהתקנה אך קצב המענה תלוי בהקצאת המשאב ובעיבוד התמונה והמסיכה. הממשק דורש הזנת מחרוזות base64 במקום גרירת קבצים פשוטה, כך שהשימוש לא מיועד למשתמשי קצה רגילים.
הרישיון
הרישיון לא דווח בעמוד ההדגמה. בהיעדר רישיון מוגדר, תנאי השימוש המסחריים במודל ובקוד אינם ברורים, ולא ידוע מה המדיניות לגבי שמירת נתונים ומחרוזות שמועלות אליו.