DAM-3B

מה זה

המודל פותח על ידי אנבידיה בשיתוף ברקלי ויוסיאסאף, והוא מבוסס על VILA-1.5 וארכיטקטורת LlavaLlama המשלבת ViT ו־Llama. בניגוד למודלי ראייה שמספקים תיאור כללי לכל התמונה, כאן מזינים תמונת RGB יחד עם מסכה בינארית, נקודות, שרבוט או תיבות תוחמות שמסמנים אזור מסוים. הוא משתמש במנגנון gated cross-attention כדי לשלב בין התמונה המלאה לפרטים הקטנים של החלק שבחרתם.

המשקל שלו עומד על שלושה מיליארד פרמטרים, והוא אומן על מאגר נתונים ייעודי שנקרא Describe Anything Training Datasets ונבדק על DLC-Bench. השילוב הזה נותן כיתוב מפורט ברמת האזור הספציפי, מה ששימושי במיוחד כשרוצים לנתח רכיב ספציפי בלי לקבל תיאור כללי וסתמי של כל הפריים מסביב.

מתאים ל

• חיתוך ותיאור אובייקטים

  קבלת תיאור טקסטואלי עשיר ומדויק עבור פריט בודד שסומן בתוך תמונה שלמה.

• תיוג נתונים לאימון

  יצירת כיתובים מפורטים לחלקי תמונות עבור אימון של מודלי סגמנטציה אחרים במחקר.

• ניתוח מונחה משתמש

  מתן אפשרות למשתמש לסמן נקודה או שרבוט על המסך ולקבל פירוט מיידי על האלמנט.

איפה זה נופל

הרזולוציה הנמוכה של 384 על 384 פיקסלים היא המגבלה הבולטת ביותר. אם האובייקט שסימנתם קטן מאוד בתמונה המקורית, הדחיסה לגודל הזה עלולה למחוק פרטים חיוניים עוד לפני שהמודל התחיל לנתח אותם. בנוסף, המודל תומך ומייצר טקסט באנגלית בלבד, כך שאי אפשר לצפות לקבל ממנו פלט ישיר בעברית בלי תרגום נוסף בשרשרת.

איך מריצים

המשקלים שוקלים כ־6.6 ג'יגה בייט ורצים דרך PyTorch בספריית describe-anything על לינוקס. כדי להריץ אותו כמו שצריך נדרש כרטיס מסך של אנבידיה מארכיטקטורות Ampere, Lovelace או Hopper, כאשר כרטיס עם 8 עד 12 ג'יגה זיכרון וידאו יספיק לעבודה שוטפת.

רזולוציית הקלט מוגבלת ל־384 על 384 פיקסלים, כך שאם יש לכם תמונות ענקיות תצטרכו להקטין אותן מראש. אם אין לכם חומרה של אנבידיה בשרת, תצטרכו לחפש חלופות מבוססות ענן כי תמיכה בחומרה אחרת לא מצוינת כאן.

pip install -U huggingface_hub
hf download nvidia/DAM-3B

הקבצים

20 קבצים במאגר, 6.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• llm/model-00001-of-00002.safetensors5.0 GB
• vision_tower/model.safetensors857.0 MB
• context_provider/model.safetensors823.0 MB
• llm/model-00002-of-00002.safetensors428.6 MB
• mm_projector/model.safetensors36.7 MB
• llm/tokenizer.model499.7 KB
• trainer_state.json120.0 KB
• llm/model.safetensors.index.json23.9 KB
• config.json10.3 KB
• README.md4.4 KB
• LICENSE4.1 KB
• .gitattributes1.5 KB
• context_provider/config.json989 B
• llm/tokenizer_config.json964 B
• llm/config.json927 B
• vision_tower/config.json693 B
• llm/special_tokens_map.json438 B
• vision_tower/preprocessor_config.json394 B
• mm_projector/config.json369 B
• llm/generation_config.json132 B

הרישיון

הרישיון הוא רישיון לא מסחרי של אנבידיה שמיועד למחקר ופיתוח בלבד. אי אפשר להטמיע את המודל במוצר חי שמניב הכנסות או משווק ללקוחות מסחריים בלי להסתכן בהפרת תנאי הרישיון.

הרישיון המלא בעמוד המודל ↗