contemplative-moondream
רץ בדפדפןvikhyatkapache-2.02024-05-24
הכלי מנתח תמונות שאתם מעלים ומחזיר עליהן תשובות טקסטואליות או סימונים חזותיים. הוא מיועד למי שרוצה לבדוק את יכולות הראייה הממוחשבת של מודל קטן יחסית ישירות בדפדפן.
- —הורדות בחודש
- 51לייקים
מה זה
אתם מעלים קובץ תמונה, מקלידים שאלה או הוראה בתיבת הטקסט, ומקבלים תשובה שמוזרמת בזמן אמת. כברירת מחדל ההנחיה המוכנה מראש מבקשת תיאור של התמונה, אבל אפשר להקליד כל שאלה שרוצים לגבי מה שרואים בה. אם המודל מזהה אלמנטים מסוימים, הממשק מסוגל להציג גם עותק מסומן של התמונה לצד התשובה הכתובה.
מאחורי הקלעים רץ המודל vikhyatk/moondream2, מודל ראייה ושפה קומפקטי שמחבר בין עיבוד תמונה למודל שפה. הקוד משתמש בספריית transformers ורכיב TextIteratorStreamer כדי לפלוט את המילים ברצף כשהן נוצרות, יחד עם עיבוד תמונה בסיסי שמסמן ממצאים במידת הצורך.
מתאים ל
- תיאור מהיר של תמונות
מעלים תמונה ומקבלים תיאור מילוני של מה שמופיע בה בלחיצת כפתור אחת.
- איתור וסימון אובייקטים
שואלים איפה נמצא פריט מסוים כדי לקבל סימון ויזואלי על גבי התמונה.
- שאלות ותשובות ויזואליות
מקלידים שאלה חופשית באנגלית על תוכן התמונה כדי לבדוק את יכולת ההבנה של המודל.
איפה זה נופל
זה לא תחליף למודלי ענק רב-מודאליים עתירי פרמטרים. השם והתיאור בעמוד מזכירים שיחות פילוסופיות על משמעות החיים, אבל בפועל המודל מוגבל למה שהוא מצליח לפענח פיקסל אחרי פיקסל, ולעיתים הוא מפספס פרטים עדינים או מייצר תיאור כללי מדי. תמיכה בעברית אינה מובטחת בקוד הזה, וכדאי לפנות אליו באנגלית כדי לא לקבל תוצאות משובשות.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא. האפליקציה פתוחה לשימוש חופשי בדפדפן על גבי התשתית של Hugging Face ללא צורך בתשלום.
האם אפשר להריץ את זה מקומית על המחשב?
כן. הקוד נשען על המודל vikhyatk/moondream2 שזמין להורדה חופשית, ובעזרת כרטיס מסך מתאים וספריות פייתון בסיסיות אפשר להריץ אותו אצלכם.
במה הדף הזה שונה מהמודל עצמו?
הדף מספק מעטפת גרפית קלה ב־Gradio שכוללת הזרמת טקסט וסימון תמונות. המודל עצמו הוא קובץ המשקולות הגולמי שדורש כתיבת קוד כדי לתשאל אותו.
האם החומרים שאני מעלה נשמרים?
התמונות מעובדות בזיכרון של השרת שמריץ את הכלי כדי לייצר את התשובה. למרות זאת, מאחר שמדובר בהדגמה ציבורית ברשת, עדיף לא להעלות מסמכים אישיים או מידע סודי.
איך משתמשים
גוררים תמונה לתיבת ההעלאה, משאירים את ההוראה הקיימת או מקלידים שאלה משלכם, ולוחצים על Submit. התשובה מתחילה להיכתב מיד על המסך. הריצה מתבצעת על חומרת A10G דרך מנגנון ZeroGPU, כך שהעיבוד מהיר מאוד אבל לפעמים תצטרכו להמתין שנייה או שתיים להקצאת המשאב אם יש עומס.
הרישיון
הקוד וההדגמה מפורסמים תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הקוד. עם זאת, כל תמונה שאתם מעלים נשלחת לשרת שמריץ את המרחב, ולכן לא מומלץ להעלות לשם מידע רגיש או קבצים פרטיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים