arpeggiator

מה זה

פותחים את הדף, מאשרים גישה למצלמת הרשת ומזיזים את הידיים באוויר. יד אחת אחראית על הארפג'יו, הרמת היד מעלה את גובה הצליל ותנועת צביטה משנה את הווליום. היד השנייה שולטת במקצב התופים, כאשר הרמת אצבעות שונות משנה את תבנית המקצב בזמן אמת. במקביל לשמע, המסך מציג ויזואליזציה תלת ממדית שמגיבה לצלילים.

מאחורי הקלעים רצים ספריות צד לקוח רגילות. זיהוי הידיים והמחוות נעשה מקומית בדפדפן באמצעות MediaPipe של גוגל, הסאונד מופק ומסונתז בזמן אמת עם Tone.js, והגרפיקה מרונדרת על גבי HTML5 Canvas ו־Three.js. אין כאן מודל שפה או שרת כבד שמחזיר תשובות, הכל חישובים שרצים ישירות על המכשיר שלכם.

מתאים ל

• הדגמות אינטראקטיביות

  שילוב במצגות או הצגת יכולות של ממשקי ראייה ממוחשבת בדפדפן ללא צורך בהתקנות.

• משחק וג'ימג'ום קצר

  יצירת מקצבים ומנגינות באוויר עם הידיים כאתנחתא מהירה מול המחשב.

• לימוד פיתוח ב־Three.js

  בדיקת הקוד כדי להבין איך לחבר מעקב ידיים של MediaPipe לסאונד ב־Tone.js.

איפה זה נופל

זה כלי שעשוע והדגמה טכנולוגית, לא כלי עבודה להפקה מוזיקלית. אתם תלויים לחלוטין בתנאי התאורה בחדר ובאיכות המצלמה כדי ש־MediaPipe יזהה את האצבעות בלי לפספס. בנוסף, אי אפשר להקליט את האודיו ישירות מהממשק, לשמור קבצי MIDI או לחבר אותו לתוכנת סאונד חיצונית.

איך משתמשים

נכנסים לקישור ולוחצים על אישור שימוש במצלמה ברגע שהדפדפן מבקש. אין צורך להירשם, אין חשבונות ואין שום תור כי האפליקציה סטטית לחלוטין ורצה אצלכם. נדרש דפדפן מודרני עם תמיכה ב־WebGL, ומהירות התגובה תלויה בעיקר במעבד ובמצלמה של המחשב שמריץ את זיהוי התמונה.

הרישיון

הפרויקט מופץ תחת רישיון MIT. מותר להשתמש בקוד, להעתיק ולשנות אותו בחופשיות. זיהוי הווידאו מתבצע מקומית במכשיר שלכם והמצלמה לא שולחת שום תוכן לשרת חיצוני.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗