moondream3

מה זה

הממשק מחולק לשתי לשוניות עיקריות. בראשונה מעלים תמונה, בוחרים משימה כמו זיהוי אובייקטים, כותבים הנחיה טקסטואלית ומגדירים כמות עצמים מקסימלית. בצד השני מקבלים את התמונה המעובדת עם סימונים, תיבת טקסט לתשובות ומד זמן ביצוע.

בלשונית השנייה מעלים סרטון וידאו. מגדירים הנחיה לחיפוש ומכוונים מחוון של מרווחי זיהוי, והפלט מחזיר וידאו שבו האובייקטים מסומנים בעזרת ספריית supervision, לצד סיכום טקסטואלי של המתרחש.

מאחורי הקלעים רץ המודל moondream3-preview בגרסת בדיקה. הממשק כולל גם דוגמאות מוכנות מראש שמבוססות על מאגר תמונות בדיקה, כך שאפשר להריץ ניסוי ראשוני בלי להעלות קבצים מהמחשב שלכם.

מתאים ל

• זיהוי אובייקטים בתמונות

  איתור עצמים ספציפיים וסימונם לפי הנחיה טקסטואלית ומספר מקסימלי מוגדר.

• מעקב וידאו

  מעקב אחר פריטים נבחרים לאורך פריימים בווידאו בעזרת מרווחי בדיקה קבועים.

• מענה על שאלות מתמונה

  קבלת תיאור טקסטואלי ותשובות ישירות על מה שמופיע בקובץ התמונה שהעליתם.

איפה זה נופל

מדובר בגרסת preview מוקדמת, ולכן הדיוק בניתוח חופשי עלול להפתיע לרעה. עיבוד וידאו דורש חיתוך פריימים דרך מרווחי זיהוי, ואם הסרטון ארוך או כבד הוא יזלול זמן ויכול להיעצר במגבלת הזמן של החומרה השיתופית.

איך משתמשים

בוחרים בלשונית של תמונה או וידאו, גוררים קובץ ולוחצים על כפתור ההרצה המתאים. אין צורך בהרשמה או בהתחברות לחשבון כדי להשתמש. המערכת מופעלת על חומרת zero-a10g, מה שמספק כוח עיבוד של כרטיס גרפי ייעודי, אבל תצורת שיתוף כזו עלולה להכניס אתכם לתור קצר כשיש עומס משתמשים.

הרישיון

הקוד והמודל מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בקוד. עם זאת, הקבצים שאתם מעלים עוברים דרך שרתי הרצת ההדגמה, ולכן לא מומלץ להעלות לשם חומר רגיש או פרטי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗