telepresence

מה זה

אתם מתחברים עם חשבון Hugging Face, בוחרים רובוט שמחובר לרשת האיתות, ומקבלים שידור וידאו חי מקצה לקצה ביחס 4:3 יחד עם ג'ויסטיק על המסך. הג'ויסטיק שולט ישירות בסיבוב ובהטיה של ראש הרובוט, וכשהראש מגיע לקצה התנועה המכני שלו, התנועה ממשיכה לבסיס הגוף.

אין כאן שום מודל בינה מלאכותית, ניתוח תמונה או עיבוד שפה. החיבור מבוסס כולו על WebRTC ישיר בין המפעיל לחומרה של Pollen Robotics. צד האודיו לוקח את המיקרופון המקומי של הדפדפן דרך החלפת רצועות קול בזמן אמת, ומזרים אותו לרמקולים של הרובוט במקביל להשמעת מה שהרובוט קולט.

מתאים ל

• שליטה מרחוק ברובוט

  צפייה בשידור חי מהרובוט והזזת הראש והבסיס שלו בעזרת ג'ויסטיק במסך הטלפון או המחשב.

• תקשורת קולית דו כיוונית

  דיבור ישירות דרך הרמקולים של הרובוט והאזנה לרעשי הסביבה דרך המיקרופון שלו.

• הטמעה באפליקציות חיצוניות

  שילוב מסך השליטה בתוך מסגרת iframe עם התאמת צבעים והגדרת רובוט מראש דרך כתובת הדף.

איפה זה נופל

אם אין לכם רובוט Reachy Mini פיזי שרץ ומחובר לרשת, אין לכם מה לעשות כאן, העמוד יישאר ריק מרובוטים. בנוסף, אודיו דו כיווני דורש גרסת תוכנה עדכנית ברובוט, ובגרסאות ישנות המיקרופון פשוט יסרב לפעול ויישאר כבוי. הממשק גם לא יודע להעיר את הרובוט משינה או להרדים אותו, אלא רק מזיז את המנועים כשהוא כבר דולק.

איך משתמשים

לוחצים על כפתור ההתחברות של Hugging Face, נותנים הרשאה בסיסית, והממשק מוצא אוטומטית את הרובוט הפעיל. ברגע שהמסך נפתח, חייבים ללחוץ ידנית על כפתורי המיקרופון והרמקול כדי לאשר לדפדפן להפעיל את הקול. השרת רץ על מכולת Docker עם מעבד בסיסי, אבל הוא משמש בעיקר לטעינת האפליקציה ולאיתות ראשוני, כך שהחומרה שלו לא מעכבת את השידור החי שעובר ישירות ביניכם לבין הרובוט.

הרישיון

קוד הממשק מופץ תחת רישיון MIT חופשי. ערכות הפיתוח של Pollen Robotics שרצות ברקע כפופות לתנאי הרישוי המקוריים שלהן, ואין שום שמירה של תוכן או וידאו בשרת.

הרישיון המלא ב־Hugging Face ↗