GPT
הוספת כלי
M

MiniCPM-RobotTrack

קוד פתוח

openbmbapache-2.02026-07-18

  • transformers
  • safetensors
  • minicpm_robottrack
  • feature-extraction
  • vision-language-action

מודל קומפקטי של ראייה ושפה שמייצר תנועה למעקב אחרי אנשים ישירות על חומרת רובוט. הוא מתרגם הנחיה טקסטואלית ופיצ'רים חזותיים לשמונה נקודות ציון מרחביות.

  • 450Mפרמטרים
  • 935 MBמשקל הקבצים
  • 258הורדות בחודש
  • 135לייקים

מה זה

במקום עוד מודל שמייצר טקסט או תיאור של תמונה, הדגם הזה בנוי מראש לשליטה בתנועה רובוטית. הוא מבוסס על MiniCPM4-0.5B ומקבל הנחיה מילולית באנגלית כמו מעקב אחרי אדם בחולצה אדומה, יחד עם פיצ'רים חזותיים ממוזגים של DINOv3 ו־SigLIP. הפלט שלו הוא מערך מספרי ישיר של שמונה נקודות ציון הכוללות מיקום וזווית סיבוב, שנועדו לשליטה על רגלי הרובוט.

האימון נעשה בלולאת אינטראקציה מסוג DAgger כדי להתמודד עם מקרים מורכבים בשטח כמו הצטלבויות של כמה אנשים, פניות חדות והסתרות קצרות. היצרנים בדקו אותו על מחשוב מקומי של הכלב הרובוטי Unitree Go2 והגיעו לקצב של מעל 5 פריימים בשנייה עם שיהוי כולל של כ־180 מילישניות.

מתאים ל

  • מעקב אחר מובילים ברובוט

    שליטה בזמן אמת על רובוט נייד שצריך ללכת אחרי אדם ספציפי לפי תיאור לבוש.

  • ניווט רובוטי במבנים

    מעקב אחרי יעדים במעליות, חניונים או אזורים עם מכשולים בעזרת נקודות ציון מדויקות.

  • מחקר VLA על חומרת קצה

    בדיקת פוליסות תנועה וראייה על מחשבי רובוט מקומיים ללא תלות ברשת או ענן.

איפה זה נופל

הקוד שסופק לא כולל בתוכו את המודלים שמפיקים את הפיצ'רים החזותיים, ולכן תצטרכו להקים ולהריץ במקביל מודלים של DINOv3 ושל SigLIP כדי להזין לו קלט תקין. בנוסף, הוא פולט נקודות ציון גיאומטריות בלבד, כך שכל בקרת המנועים, המהירות והיציבות הפיזית נשארת באחריותכם המלאה. אם הקלט הכתוב בעברית, אין שום תיעוד לכך שהוא מסוגל להבין אותו, וההדגמות כולן מבוססות על הנחיות באנגלית.

שאלות
נפוצות

האם אפשר לשלוח למודל תמונת מצלמה רגילה מהרובוט?

לא ישירות. המודל מחייב צינור עיבוד חיצוני שמחלץ פיצ'רים משולבים משני מודלי ראייה שונים, ומקבל אותם כטנסורים בגדלים ספציפיים שמוגדרים בקוד.

האם הוא מתאים לשליטה על רובוטים שאינם Unitree Go2?

כן, המודל אינו מוציא פקודות מנוע ספציפיות אלא שמונה נקודות במסלול תלת ממדי יחסי, כך שניתן לתרגם את המסלול הזה לכל פלטפורמה ניידת.

האם שיהוי של 180 מילישניות מספיק לנסיעה או הליכה?

עבור מעקב אחרי הולכי רגל זה קצב שימושי שעובד, אך בתנועות פתאומיות או בריצה מהירה תצטרכו מנגנון בקרת תנועה מקומי שיגשר בין נקודות הציון.

איך מריצים

המודל דורש ספריית transformers בגרסה 4.56 ומעלה אך מתחת לגרסה 5, יחד עם הפעלת trust_remote_code בזמן הטעינה. מדובר במשקל קטן מאוד שנכנס בקלות לזיכרון של כרטיס גרפי בסיסי ואפילו למחשבי קצה רובוטיים צנועים.

אי אפשר להעביר למודל תמונות ישירות כפי שהן. הוא מצפה לקבל וקטורים מעובדים מראש ברוחב 1536, שמגיעים מצינור עיבוד נפרד של DINOv3 ו־SigLIP שמחזיק היסטוריה של 31 פריימים אחרונים ופרק זמן נוכחי מפורט.

from transformers import pipeline

pipe = pipeline("robotics", model="openbmb/MiniCPM-RobotTrack")
print(pipe("שלום"))

הקבצים

28 קבצים במאגר, 935 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהטמיע אותו במוצרים סגורים, כל עוד שומרים על הודעות זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗