moondream-2b-2025-04-14-4bit

מה זה

מדובר במודל שמשלב תמונה וטקסט כדי לענות על שאלות או לחלץ מידע ויזואלי. המפתחים אימנו אותו מראש תוך התחשבות בכימות לארבעה ביטים, מה שהוריד 42 אחוז מצריכת הזיכרון שלו במחיר של פגיעה זניחה של 0.6 אחוז בלבד בדיוק לפי הנתונים שלהם.

בגודל כזה של מיליארד ושלוש מאות מיליון פרמטרים, המטרה היא מהירות ויעילות מקסימלית על חומרה קצה או על כרטיסים צנועים. הוא לא מנסה להתחרות בענקי ראייה כבדים בניתוח מסמכים סבוכים, אלא לתת מענה מהיר מאוד למשימות זיהוי ותיאור ישירות.

מתאים ל

• תיאור תמונות מהיר

  קצב של 184 תווים לשנייה מאפשר לייצר טקסט חלופי ותיאור קצר לעשרות תמונות בזמן קצר מאוד.

• עיבוד על מכשירי קצה

  צריכה של פחות משניים וחצי גיגה זיכרון גרפי מתאימה למחשבים מקומיים ולכרטיסי מסך בסיסיים.

• סינון תוכן חזותי פנימי

  מענה על שאלות בסיסיות לגבי מה מופיע בתמונה בלי להוציא את המידע לשרתים חיצוניים.

איפה זה נופל

למרות הכימות המוצלח, מודל של 1.3 מיליארד פרמטרים מוגבל מובנית בהבנה של סצנות מורכבות, קריאת טקסט צפוף או פיענוח יחסים עדינים בין עצמים בתמונה. כרטיס המודל לא מציג נתונים לגבי תמיכה בשפות שאינן אנגלית, ולכן הנחת העבודה צריכה להיות שעברית לא תעבוד כאן טוב בלי בדיקה קפדנית.

איך מריצים

כדי להריץ אותו צריך להתקין את הספריות pillow ו torchao. על כרטיס Nvidia RTX 3090 הוא צורך 2,450 מגה בייט בלבד של זיכרון וידאו, ומגיע לקצב עבודה של 184 תווים לשנייה. מדובר בדרישות זיכרון קלות שאפשר לספק גם עם חומרה ביתית פשוטה יחסית.

אם יש לכם צורך בעיבוד מקומי מהיר בלי לשלוח תמונות של משתמשים לרשת, ההרצה העצמית הזו משתלמת מיד. לעומת זאת, אם התשתית שלכם כולה בענן ואין לכם שרת GPU דולק ממילא, קריאה לשירות מנוהל תחסוך את עלות התחזוקה.

ollama run hf.co/moondream/moondream-2b-2025-04-14-4bit:F16

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

33 קבצים במאגר, 5.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• moondream2-text-model-f16.gguf2.8 GB
• model.safetensors2.0 GB
• moondream2-mmproj-f16.gguf909.8 MB
• tokenizer.json2.1 MB
• vocab.json798.2 KB
• merges.txt456.3 KB
• modeling_phi.py63.1 KB
• moondream.py26.7 KB
• weights.py10.4 KB
• vision_encoder.py10.2 KB
• image_crops.py8.1 KB
• tokenizer_config.json7.3 KB
• text.py6.2 KB
• vision.py5.1 KB
• hf_moondream.py4.0 KB
• layers.py3.9 KB
• configuration_moondream.py3.3 KB
• region.py3.1 KB
• config.py2.6 KB
• README.md2.2 KB
• handler.py2.1 KB
• rope.py1.6 KB
• .gitattributes1.6 KB
• utils.py1.4 KB
• region_model.py1.3 KB
• added_tokens.json1.1 KB
• fourier_features.py558 B
• packing.py339 B
• config.json277 B
• versions.txt121 B
• special_tokens_map.json99 B
• generation_config.json69 B
• requirements.txt22 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולשלב אותו בקוד סגור, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין כאן הגבלות מיוחדות על הפצה במוצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗