openvla-7b

מה זה

המודל פותח על ידי חוקרים מסטנפורד, ברקלי, גוגל דיפמיינד וטויוטה. הוא משלב מודל שפה של Llama-2 יחד עם רשתות ראייה מסוג DINOv2 ו־SigLIP, ואומן על 970 אלף הדגמות של מניפולציות רובוטיות ממאגר Open X-Embodiment.

בניגוד למודלי ראייה-שפה רגילים שפולטים טקסט, הפלט כאן הוא תנועה ממשית במרחב. הוא מקבל תמונת מצלמה של סביבת העבודה והוראת טקסט, ופולט פעולות מנורמלות של שבע דרגות חופש עבור קצה הזרוע: מיקום תלת ממדי, זוויות גישה ופתיחה או סגירה של התפסן. זה מאפשר להפעיל מספר סוגי רובוטים ישר מהקופסה, בתנאי שהם נכללו במאגר המקורי.

מתאים ל

• הפעלת זרוע Widow-X

  שליטה ישירה ללא אימון נוסף בסביבות BridgeV2 שנכללו במאגר המקורי.

• אימון משימות מותאמות

  בסיס להתאמה יעילה על מעט הדגמות של זרוע חדשה במקום להתחיל מודל מאפס.

• מחקר רובוטיקה מעשי

  ניסויים על חיבור ישיר בין פקודות בשפה טבעית לבין תנועה בעולם האמיתי.

איפה זה נופל

הוא לא יודע להפעיל רובוטים חדשים שלא הופיעו במאגר האימון. אם יש לכם זרוע רובוטית עם מבנה פיזי שונה או סביבה שלא נכללה באימון המקורי, הוא ייכשל ללא אימון נוסף. היוצרים מציינים במפורש שחובה לאסוף הדגמות על החומרה שלכם ולבצע התאמה ייעודית. בנוסף, המודל מבין הוראות טקסט באנגלית בלבד, כך שאין מה לנסות להזין לו הוראות בעברית.

איך מריצים

כדי להריץ אותו מקומית צריך לפרוק 14 גיגה-בייט של משקולות בפורמט bfloat16 ישירות לתוך הזיכרון של כרטיס המסך. בפועל, כרטיס עם 16 או 24 גיגה-בייט של VRAM הוא דרישת סף, במיוחד אם רוצים לקבל זמני תגובה שמתאימים לשליטה בזמן אמת ברובוט.

המודל נתמך בספריית transformers הסטנדרטית, אבל פלט הפעולות יוצא מנורמל. המשמעות היא שחובה להריץ קוד נוסף שממיר את הערכים בחזרה לסקאלה הפיזית של הרובוט הספציפי שלכם לפני ששולחים פקודה למנועים.

from transformers import pipeline

pipe = pipeline("robotics", model="openvla/openvla-7b")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 14.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors7.0 GB
• model-00001-of-00003.safetensors6.9 GB
• model-00003-of-00003.safetensors1.2 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• model.safetensors.index.json94.8 KB
• config.json60.7 KB
• modeling_prismatic.py26.1 KB
• processing_prismatic.py12.7 KB
• configuration_prismatic.py5.9 KB
• README.md5.0 KB
• preprocessor_config.json1.6 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.2 KB
• special_tokens_map.json552 B
• generation_config.json136 B
• processor_config.json130 B
• added_tokens.json21 B

הרישיון

הקוד והמשקולות שוחררו תחת רישיון MIT. זה הרישיון הכי מתירני שיש, ומותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצר סגור או לרוץ איתו על חומרה של לקוח, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗