moondream2

מה זה

מדובר במודל ראייה שמשלב עיבוד תמונה ויצירת טקסט סביב 1.9 מיליארד פרמטרים. המטרה שלו פשוטה, לתת מענה לשאלות על תמונות, תיוג, זיהוי אובייקטים ומסמכים, בלי לסחוב משקלים של עשרות גיגה-בייט. בעדכונים האחרונים הוסיפו לו מצב הסקה מרחבי שמחבר את התשובה למיקום האובייקט, מה שעוזר לו בספירה ובקריאת תרשימים.

התוצאות שלו מראות שיפור עקבי במשימות ספציפיות. במבחן ScreenSpot לאיתור רכיבי ממשק משתמש הוא עלה מציון של שישים נקודה שלוש לשמונים נקודה ארבע, ובבדיקות כמו ChartQA לקריאת גרפים הוא מגיע ל־77.5 ועד 82.2. המשמעות היא שהוא מפסיק לנחש באופן כללי ומסוגל להבדיל בין אלמנטים צפופים על מסך או פרטים קטנים בגרף.

מתאים ל

• אוטומציה של ממשקי משתמש

  זיהוי כפתורים ושדות במסכים בדיוק גבוה, שמאפשר לסוכנים ממוחשבים לנווט בתוכנות.

• חילוץ נתונים מדוחות וגרפים

  קריאת ערכים מתרשימים ומסמכים בלי להעביר מידע רגיש לשרתים חיצוניים.

• ספירה וסיווג מקומי בתמונות

  הפרדה בין עצמים דומים וספירה מדויקת על חומרה חלשה יחסית.

איפה זה נופל

זה עדיין דור קודם של הפרויקט, והיוצרים עצמם כבר הוציאו תצוגה מקדימה לגרסה שלוש. מעבר לכך, למרות ההתקדמות בטוקנייזר ופתרון באגים ביוניקוד, כרטיס המודל לא מדווח על תמיכה ישירה בעברית, ולכן טקסטים או מסמכים בעברית עלולים להישבר ב־OCR. במצב ההסקה המדויק יש פגיעה מורגשת במהירות התגובה, וחובה לנעול גרסה מסוימת בקוד כי המאגר מתעדכן בתדירות גבוהה ויכול לשבור תאימות.

איך מריצים

המשקל הכולל של הקבצים עומד על 3.6 גיגה-בייט בפורמט bfloat16, כך שהוא נכנס בקלות לכרטיס מסך ביתי בסיסי או למעבד רגיל דרך ספריית transformers. יש תמיכה בהידור מהיר שמשפר את הביצועים, והטוקנייזר המעודכן חותך עשרים עד ארבעים אחוז מזמן יצירת הטקסט.

אם אתם צריכים לפרוס אותו בענן לשאילתות ספורדיות בלבד, לפעמים עדיף לפנות ל־API חיצוני כדי לא להחזיק שרת דלוק. מנגד, אם יש לכם זרימת נתונים מקומית או שאתם בונים כלי שרץ על מחשב של משתמש, המשקל הנמוך שלו הופך אותו למועמד טבעי להרצה עצמאית.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="vikhyatk/moondream2")
print(pipe("שלום"))

הקבצים

30 קבצים במאגר, 3.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.9 GB
• tokenizer.json2.1 MB
• vocab.json798.2 KB
• merges.txt456.3 KB
• moondream.py35.5 KB
• vision_encoder.py10.2 KB
• weights.py9.7 KB
• image_crops.py8.1 KB
• tokenizer_config.json7.3 KB
• text.py6.9 KB
• hf_moondream.py5.5 KB
• vision.py5.1 KB
• layers.py4.6 KB
• region.py4.5 KB
• README.md4.4 KB
• configuration_moondream.py3.3 KB
• config.py2.6 KB
• lora.py2.3 KB
• handler.py2.1 KB
• .gitattributes1.6 KB
• rope.py1.6 KB
• utils.py1.4 KB
• region_model.py1.3 KB
• added_tokens.json1.1 KB
• fourier_features.py558 B
• config.json277 B
• versions.txt131 B
• special_tokens_map.json99 B
• generation_config.json69 B
• requirements.txt42 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר סגור, בלי תמלוגים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים וציון השינויים שביצעתם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗