moondream2 — הדגמה

מה זה

מדובר בממשק פשוט שמחבר בין תמונה לשאלת טקסט. אתם מעלים קובץ תמונה מהמחשב, מקלידים שאלה בתיבת הקלט או משאירים את ברירת המחדל שמבקשת לתאר את התמונה, ולוחצים על כפתור השליחה. בתגובה מופיעה תשובת טקסט ולצדה רכיב שמיועד להציג תמונה עם סימונים, אם כי כרגע הוא מוגדר כמוסתר בקוד.

מאחורי הקלעים רץ moondream2, מודל שפה וראייה קטן שפותח כדי לפעול ביעילות בלי לדרוש משאבי עתק. הקוד עצמו בסיסי ומשתמש ישירות בספריית המודל בלי עיבודים מורכבים מסביב. אין בממשק דוגמאות מובנות מראש של תמונות, אז תצטרכו להביא קבצים משלכם כבר מהניסיון הראשון כדי לראות מה הוא שווה.

מתאים ל

• תיאור תמונה כללי

  השארת שאלת ברירת המחדל כדי לקבל תיאור טקסטואלי של מה שמופיע בתמונה שהעליתם.

• שאלות על פרטים בתמונה

  שאילת שאלות באנגלית על אובייקטים, צבעים או מיקומים של פריטים שנמצאים בתוך הצילום.

• בדיקת יכולות של המודל

  בחינה מהירה של דיוק המודל הקטן על מגוון תמונות לפני שמחליטים להטמיע אותו בקוד.

איפה זה נופל

ההדגמה רצה על מעבד רגיל בלבד, ולכן היא לא משקפת את המהירות האמיתית שאפשר להוציא מהמודל הזה על חומרה ייעודית. רכיב הסימונים על התמונה מוסתר בקוד, כך שמקבלים רק תשובת טקסט. המודל קטן מאוד, לכן שאלות מורכבות, פירוט עמוק או זיהוי של פרטים זעירים עלולים להחזיר שגיאות עובדתיות.

איך מריצים

נכנסים לעמוד, מעלים תמונה ולוחצים על Submit. אין צורך בהרשמה או התחברות לחשבון כדי להריץ בדיקה. ההדגמה פועלת על חומרת מעבד בסיסית, מה שאומר שהעיבוד לא יהיה מיידי כמו במאיצי גרפיקה חזקים. אם יש עוד משתמשים שניגשים במקביל, זמן ההמתנה לתשובה יתארך בהתאם.

pip install -U huggingface_hub
hf download vikhyatk/moondream2

הקבצים

30 קבצים במאגר, 3.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.9 GB
• tokenizer.json2.1 MB
• vocab.json798.2 KB
• merges.txt456.3 KB
• moondream.py35.5 KB
• vision_encoder.py10.2 KB
• weights.py9.7 KB
• image_crops.py8.1 KB
• tokenizer_config.json7.3 KB
• text.py6.9 KB
• hf_moondream.py5.5 KB
• vision.py5.1 KB
• layers.py4.6 KB
• region.py4.5 KB
• README.md4.4 KB
• configuration_moondream.py3.3 KB
• config.py2.6 KB
• lora.py2.3 KB
• handler.py2.1 KB
• .gitattributes1.6 KB
• rope.py1.6 KB
• utils.py1.4 KB
• region_model.py1.3 KB
• added_tokens.json1.1 KB
• fourier_features.py558 B
• config.json277 B
• versions.txt131 B
• special_tokens_map.json99 B
• generation_config.json69 B
• requirements.txt42 B

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי קוד והפצה, כולל לצרכים מסחריים. לגבי התמונות והשאלות שאתם שולחים, הן מועברות דרך השרת שמארח את ההדגמה, ולכן לא מומלץ להעלות לשם מידע פרטי או רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗