rdt-1b
קוד פתוחrobotics-diffusion-transformermit2024-08-27
מודל דיפיוז'ן מבוסס טרנספורמר שמתרגם פקודות טקסט ותמונות לפעולות פיזיות ברובוטים. מתאים למי שרוצה לשלוט בזרועות רובוטיות בלי לאמן רשת מורכבת מאפס.
- 2.3 GBמשקל הקבצים
- 1,459הורדות בחודש
- 103לייקים
מה זה
מדובר במודל חיקוי שמאומן על יותר ממיליון הדגמות רובוטיות מתוך 46 מאגרי נתונים שונים, בהם RT-1 ו־BridgeData V2. הוא מקבל הוראה באנגלית, תמונות RGB מעד שלוש זוויות שונות, תדירות בקרה ונתוני חישה פנימית של הזרוע, ופולט קדימה רצף של 64 הפעולות הבאות שהרובוט צריך לבצע.
הייחוד כאן הוא מרחב פעולה אחיד שמנסה לגשר על חומרות שונות. הוא יודע להוציא פקודות לזרוע בודדת או לשתי זרועות, לשלוט ברמת המפרקים או בקצה הזרוע, להשתמש במיקום או במהירות, ואפילו לטפל בניידות על גלגלים, כל עוד ממפים את הנתונים למבנה הווקטור שלו.
מתאים ל
- בקרת שתי זרועות
שליטה מתואמת על זרועות כפולות לביצוע משימות מורכבות, הודות לתמיכה מובנית במבנה התנועה הזה.
- רובוטים ניידים עם זרוע
שילוב בין תנועה על גלגלים במרחב לבין תפעול זרוע, שמוגדרים יחד באותו וקטור פעולה.
- הסבת הדגמות קיימות
התאמת המודל לחומרה חדשה באמצעות fine-tuning על מאגר קטן של הדגמות מקומיות.
איפה זה נופל
הבעיה המרכזית שהמפתחים מודים בה בגלוי היא חוסר היכולת להכליל לפלטפורמות רובוטיות חדשות. אם החומרה שלכם לא הופיעה באחד ממאגרי האימון המקוריים, הוא פשוט לא יעבוד טוב מהקופסה. במצב כזה תהיו חייבים להקליט מראש הדגמות של הרובוט שלכם ולבצע אימון המשך לפני שאפשר יהיה להשתמש בו. בנוסף, המודל מבין הוראות בשפה האנגלית בלבד, ואינו כולל תמיכה מובנית בעברית.
שאלות
נפוצות
האם אפשר להפעיל את המודל ישירות על כל רובוט שקונים?
לא. המודל מתאים ישירות רק למבנים ולחומרות שהופיעו במאגרי המידע שעליהם הוא אומן. אם יש לכם רובוט במבנה אחר, תצטרכו לאסוף עליו נתונים ולעשות אימון המשך.
באילו שפות אפשר לתת לרובוט פקודות?
המודל אומן על אנגלית בלבד בגלל מקודד הטקסט שלו. אם תזינו לו פקודות בעברית הוא לא יידע לפענח אותן נכון.
איזה קלט המודל דורש כדי לחשב צעדים?
הוא מצפה לקבל טקסט עם ההוראה, תמונות מעד שלוש מצלמות שונות, את תדירות הבקרה ונתוני מיקום ומצב של הזרוע באותו רגע.
איך מריצים
המשקל הכולל של הקבצים עומד על 2.3 גיגה בייט, כך שהורדה שלו פשוטה ומהירה. כדי להריץ אותו צריך לטעון גם את המקודדים הנלווים, שמבוססים על siglip לעיבוד התמונה ועל t5-v1_1-xxl לטקסט, מה שאומר שבפועל תצטרכו כרטיס מסך חזק שמסוגל להחזיק גם מודל שפה גדול בזמן ההרצה.
אין כאן גרסאות גודל שונות לבחור ביניהן ואין שירות ענן ייעודי מוכן. המודל מיועד להרצה מקומית צמודה לחומרת הרובוט, כי שליטה בתנועה בזמן אמת דורשת זמני תגובה נמוכים מאוד שלא יעבדו דרך רשת חיצונית.
from transformers import pipeline
pipe = pipeline("robotics", model="robotics-diffusion-transformer/rdt-1b")
print(pipe("שלום"))הקבצים
5 קבצים במאגר, 2.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל, הקוד שלו והמשקלים שפורסמו כולם תחת רישיון MIT. המשמעות פשוטה וישירה: מותר להשתמש בו חופשי, לשנות אותו, לבצע התאמות פרטיות ולשלב אותו במוצרים מסחריים בלי לשלם תמלוגים ובלי חובת שיתוף של הקוד שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית של צוות הפיתוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש