hello_world
רץ בדפדפןpanny247רישיון לא דווח2026-02-06
לוח בקרה מקיף לרובוט Reachy Mini שמשלב זיהוי עצמים, אנימציות ושיחה קולית. הוא מיועד למפתחים ולמי שמחזיק בחומרה של הרובוט ורוצה שליטה מלאה עליו מהדפדפן.
- —הורדות בחודש
- 112לייקים
מה זה
מדובר במערכת שליטה שמציגה תאום תלת ממדי של הרובוט ומאפשרת להפעיל 81 תנועות רגש ו־20 ריקודים ישירות מהדפדפן. הממשק קולט נתוני מצלמה, פקודות תנועה והזנת קול, ומחזיר תצוגת מודל חי, תמלול שיחה וסימוני זיהוי עצמים על הווידאו בזמן אמת.
הצד הטכנולוגי מתבסס על שרתי FastAPI, חיבורי וובסוקט ועיבוד ראייה ממוחשבת. המערכת מריצה מודלים מסדרת YOLO26 בפורמט ONNX, הן לזיהוי עצמים והן לזיהוי תנוחות גוף. הביצועים מחולקים בין מעבד המכשיר לבין כרטיס המסך בדפדפן דרך תקן WebGPU.
חלק השיחה החכמה נשען על LiteLLM שמתממשק עם ספקי שפה חיצוניים כמו אנתרופיק, גרוק, דיפסיק וגוגל. המערכת מחברת זיהוי קול, תמלול ומענה קולי, כשהסוכן מסוגל להפעיל 31 כלים שונים כמו הזזת המנועים, צילום תמונות וניגון מוזיקה.
מתאים ל
- שליטה ובדיקת רובוט
הפעלת מנועים, שידור מצלמה בזמן אמת וניטור חומרה מלא עבור Reachy Mini.
- בדיקת אנימציות בתלת ממד
צפייה מקדימה בספריית הרגשות והריקודים על גבי מודל דיגיטלי לפני הפעלתם במציאות.
- זיהוי תנוחות בדפדפן
הרצת מודלי ראייה מסדרת YOLO26 ישירות על כרטיס המסך בעזרת WebGPU.
איפה זה נופל
האפליקציה הזו כמעט חסרת תועלת אם אין לכם את הרובוט הפיזי Reachy Mini. רוב הכפתורים שולחים פקודות למנועים, לרמקולים ולחיישנים שלא קיימים במחשב רגיל. בנוסף, מודלי הראייה אמנם רצים בדפדפן, אך עיבוד הקול והתבונה דורשים מפתחות צד שלישי בתשלום, והממשק אינו כולל מודל שפה פנימי מובנה.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה בלי לקנות את הרובוט?
התצוגה בדפדפן נפתחת, אבל רוב היכולות תלויות בחומרה הייעודית של Reachy Mini. ללא חיבור לרובוט תקבלו בעיקר סימולציה תלת ממדית של התנועות ובדיקת מודלי הראייה על המצלמה שלכם. זה לא ייתן לכם תחליף למערכת שלמה שפועלת בעולם האמיתי.
האם השימוש בכלי עולה כסף?
הקוד עצמו והממשק זמינים בחינם במרחב הציבורי. עם זאת, השימוש ברכיבי השיחה והתמלול דורש מפתחות לחברות חיצוניות כמו OpenAI או Anthropic. העלויות על מודלי השפה יחולו על חשבונכם לפי התעריפים של אותם ספקים.
מה קורה עם קובצי המדיה והווידאו שלי?
עיבוד הווידאו במודלי ה־ONNX נעשה מקומית בתוך הדפדפן שלכם בעזרת המעבד הגרפי. לעומת זאת, פקודות קוליות ושיחה טקסטואלית נשלחות דרך מודול LiteLLM אל השרתים של ספק הבינה המלאכותית שבחרתם. המידע לא נשמר במאגר מרכזי של האפליקציה עצמה.
האם ניתן להריץ את כל המערכת באופן מקומי?
כן, המערכת תוכננה לרוץ על כרטיס Raspberry Pi CM4 שנמצא בתוך גוף הרובוט. כל קוד הפייתון והוובסוקטים רצים מקומית ללא צורך בשלבי בנייה מורכבים. אם תרצו שיחה מקומית לגמרי, תצטרכו לחבר אותה למודל שפה מקומי במקום לשירותי ענן.
איך משתמשים
ההפעלה בדפדפן דורשת גישה לרובוט פיזי ברשת המקומית בכתובת ייעודית, או שימוש בממשק כהדגמה סטטית של הקוד. אין כאן תור שרתים כי הדף בנוי ב־static, אבל כדי להפעיל את השיחה והראייה המלאה צריך להזין מפתחות API משלכם להרצת מודלי השפה.
הרישיון
הפרויקט פורסם ללא רישיון מוגדר. במצב כזה כל הזכויות שמורות למפתח במקור, ולא ברור אם מותר לעשות שימוש מסחרי בקוד או ברכיבי הממשק, למרות שהקוד פתוח לצפייה.