ChatGPT-Robotics
רץ בדפדפןmicrosoftmit2023-02-21
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
הדגמה שמייצרת קוד פייתון לשליטה ברובוטים בעזרת הנחיות מובנות למודל שפה. היא מיועדת לחוקרים ומפתחים שרוצים לבדוק תכנון משימות פיזיות בדיבור חופשי.
- —הורדות בחודש
- 63לייקים
מה זה
המרחב הזה מקשר בין ממשק שיחה לבין סביבות רובוטיקה מוכרות. במקום לכתוב פקודות מנוע ישירות, אתם בוחרים תרחיש מוכן מתוך תפריט, ומקבלים קוד שנשען על פונקציות בקרה מוגדרות מראש שפותרות את הבעיה.
התרחישים המובנים כוללים ניווט רחפנים בסימולטור AirSim, שליטה ברחפן אמיתי מסוג DJI Tello, הפעלת זרוע רובוטית עם משאבת ואקום להרמת חפצים, וסוכן וירטואלי שמגיב לזיהוי אובייקטים. יש גם מצב של לולאה סגורה, שבו אתם מזינים לו תיאור טקסטואלי של המצב בשטח בכל צעד, והוא מתאים את הפעולה הבאה בהתאם.
המימוש בקוד משתמש בספריית revChatGPT הישנה כדי לתקשר ישירות עם חשבון המשתמש הרגיל של OpenAI, בלי שימוש ב־API רשמי בתשלום, כשההנחיות הראשוניות מגדירות למודל את הפונקציות הזמינות לו בעולם הרובוטי.
מתאים ל
- ניווט רחפן ב־AirSim
יצירת קוד תנועה ומסלולים בסימולטור רחפנים לפי הנחיות בשפה טבעית.
- הפעלת זרוע רובוטית
תכנון רצף פעולות של אחיזה ושחרור חפצים בעזרת משאבת ואקום.
- בקרה בלולאה סגורה
קבלת החלטות צעד אחר צעד על בסיס עדכוני טקסט שמתארים את מיקומי העצמים בחדר.
איפה זה נופל
ההדגמה הזו לא מפעילה רובוט אמיתי בעצמה ולא כוללת סימולטור פנימי. אתם מקבלים רק טקסט וקוד, ואם תרצו לראות תנועה תצטרכו להעתיק אותו ידנית לפרויקט חיצוני או לסימולטור PromptCraft-Robotics שמיקרוסופט פרסמה בנפרד.
שיטת ההתחברות מתבססת על מעקף לא רשמי של סשן דפדפן, דבר שנוטה להישבר לעיתים קרובות מול שינויי אבטחה של OpenAI. בנוסף, קוד שנפלט ממודל שפה לסביבה פיזית עלול לפגוע בחומרה אם לא בודקים גבולות בטיחות בעצמכם.
שאלות
נפוצות
האם הכלי הזה עובד כרגע בדפדפן?
לא. החלל נמצא בסטטוס של שגיאת בנייה ולכן אי אפשר להשתמש בו ישירות בעמוד. כדי להפעיל אותו תצטרכו למשוך את הקבצים, לתקן את תלויות ההרצה, ולהרים אותו מקומית.
האם צריך לשלם על מפתח API של OpenAI?
לא, הממשק בקוד נבנה כדי לקבל טוקן גישה ישיר מחשבון האתר שלכם. עם זאת, השיטה הזו ישנה מאוד ולא יציבה בהשוואה לעבודה מול ה־API הרשמי.
האם האפליקציה שולטת ישירות ברחפן שלי?
לא, אין כאן חיבור פיזי לשום מכשיר. הממשק רק מחזיר מקטעי קוד פייתון שקוראים לפונקציות שאותן תצטרכו להריץ בעצמכם על גבי מחשב שמחובר לכלי.
איך משתמשים
כדי להתחיל צריך חשבון קיים ב־OpenAI, להוציא מחרוזת accessToken מכתובת הסשן של הדפדפן, ולהדביק אותה בתיבת ההתחברות בממשק. אחרי הלחיצה על Login, בוחרים את סוג הפרומפט, לוחצים על Initialize, ורק אז נפתח חלון הצ'אט שבו ממשיכים לכתוב באנגלית.
החלל מוגדר על חומרת cpu-basic בסיסית, אבל במצב הנוכחי המערכת מדווחת על שגיאת בנייה מסוג BUILD_ERROR. זה אומר שאי אפשר להריץ אותו ישירות בדפדפן כרגע בלי לתקן את הקוד והתלויות שלו.
הרישיון
הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים. מאחר שההתחברות נעשית דרך חשבון ה־ChatGPT שלכם, המידע והקוד שאתם שולחים כפופים לתנאי השימוש והפרטיות הרגילים של חברת OpenAI.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש