GPT
הוספת כלי
M

MiniCPM-RobotManip

קוד פתוח

openbmbapache-2.02026-07-18

  • transformers
  • safetensors
  • minicpm_vla
  • feature-extraction
  • vision-language-action

מודל VLA קומפקטי שמכוון להפעלת זרועות רובוטיות ישירות מהקצה. הוא משלב שפה, ראייה וחיזוי תנועה ברשת של 1.5 מיליארד פרמטרים בלי לפוצץ את צריכת החיזוי.

  • 1.5Bפרמטרים
  • 3.3 GBמשקל הקבצים
  • 392הורדות בחודש
  • 186לייקים

מה זה

מדובר במודל שליטה רובוטית שמקבל תמונות ממצלמות, פקודה טקסטואלית ומצב פיזי של הרובוט בוקטור של 80 ערכים, ומוציא סדרת פעולות ישירה. במקום לייצר טקסט, ראש הפעולה שלו מייצר גוש תנועות קונקרטי. הדגש העיקרי כאן הוא יעילות חישובית. המודל דוחס כל פריים לשישים וארבעה טוקנים ויזואליים, ומשתמש במנגנון זרימה ששומר היסטוריה של עד שישים פריימים או דקה שלמה, תוך חיתוך החישוב לכל צעד ממאה עשרים וחמישה טרה-פלופס לשלושה נקודה שלוש בלבד.

המפתחים טוענים שהוא עוקף מודלים כמו פאי אפס נקודה חמש וקיוון-וי-אל-איי במבחנים מייצגים, עם זמן חישוב של מאה ועשרים מילישניות לפריים בודד על מעבד H100 בתצורת BF16. בפועל, המשמעות היא יכולת לקבל החלטות מבוססות רצף בזמן קרוב לזמן אמת, ולא רק להגיב בצורה עיוורת לתמונה בודדת.

מתאים ל

  • שליטה בזרוע רובוטית מקומית

    הוא רץ מקומית על כרטיס גרפי קטן ומאפשר לבצע מניפולציות פיזיות על בסיס פקודות טקסט ומצלמה.

  • קבלת החלטות מבוססת רצף

    זיכרון ויזואלי של דקה מאפשר לו לבצע משימות הדורשות מעקב אחרי שלבי עבודה קודמים.

  • מחקר VLA על חומרה נגישה

    משקל של 3.3 גיגה-בייט מאפשר לפתח ולבדוק אלגוריתמי תנועה בלי להחזיק חוות שרתים.

איפה זה נופל

זמן התגובה שנמדד, מאה ועשרים מילישניות על חומרת שרת כבדה, מודד רק את המעבר קדימה ברשת ואינו כולל פענוח אוטו-רגרסיבי מלא או את התקשורת עם החומרה הרובוטית. בנוסף, המודל דורש התאמה קשיחה למבנה קלט של וקטור מצב בגודל שמונים בדיוק ותמונות ביחס קבוע. אם הרובוט שלכם לא ממפה את המפרקים והמצלמות שלו למבנה הזה בדיוק, המודל יחזיר שגיאה או תנועות לא שמישות.

שאלות
נפוצות

איזה פלט המודל מחזיר בפועל?

הוא לא מחזיר טקסט או תשובה בצ'אט. הפלט הוא טנסור נומרי בממדים שלושים על שמונים, שמייצג גוש של פעולות מוטוריות רציפות עבור מפרקי הרובוט.

האם חייבים מעבד H100 כדי להריץ אותו?

לא. המדידה הרשמית נעשתה על H100 כדי להציג זמני שיהוי מינימליים, אבל עם מיליארד וחצי פרמטרים ומשקל קבצים קטן אפשר להריץ אותו על כל כרטיס מסך מודרני ואפילו על מעבד רגיל לצורך בדיקות.

איך מריצים

המודל שוקל 3.3 גיגה-בייט, מה שאומר שהוא נכנס בקלות לכרטיס מסך ביתי עם 8 גיגה זיכרון וידאו ומעלה, ואין שום סיבה לחפש עבורו שירות ענן חיצוני. הוא רץ ישירות דרך ספריית טרנספורמרס, אם כי יש לשים לב לדרישה הספציפית לגרסה 5.7.0 ואישור הרצת קוד מרוחק.

הריצה מתבצעת מקומית מתוך פייתון. אתם מעבירים תמונה שמומרת אוטומטית לגודל 448 על 448 פיקסלים, מחרוזת הוראה, וקטור מצב של שמונים מספרים ומזהה של סוג הרובוט. המודל מחזיר טנסור פעולות במבנה של שלושים על שמונים ישירות לחישוב על המעבד.

from transformers import pipeline

pipe = pipeline("robotics", model="openbmb/MiniCPM-RobotManip")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 3.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים אפס מלא עבור הקוד ומשקולות המודל. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים פנימיים או סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗