gemini-live-p5
רץ בדפדפןTrudyרישיון לא דווח2025-02-19
היישום מחבר בין מודל המולטימודל של גוגל בזמן אמת לבין ממשק רשת אינטראקטיבי. הוא מיועד למפתחים שרוצים לבחון שידור חי של קול, מצלמה ומסך מול ה־API של ג'מיני.
- —הורדות בחודש
- 39לייקים
מה זה
מזינים כאן שידורי מדיה ישירים מהדפדפן, כולל אודיו ממיקרופון, וידאו ממצלמת רשת או לכידת מסך מלאה. בצד הפלט, הממשק מחזיר הזרמת קול חזרה למשתמש ומציג יומן אירועים מפורט שמרכז את התקשורת מול המודל. בנוסף, יש אזכור לתמיכה בקרקוע תוצאות מחיפוש גוגל ורינדור גרפים בעזרת ספריית vega-embed.
מאחורי הקלעים רץ שרת React שמתקשר מול Multimodal Live API של גוגל דרך חיבור websocket מהיר. המבנה כולל שכבת תקשורת לטיפול באודיו נכנס ויוצא, לצד לקוח שמשדר אירועים מהדפדפן ומקל על הפיתוח. הקוד עצמו מבוסס על שלד יישום של גוגל שנארז בריצת דוקר כדי לאפשר בדיקה של היכולות האלו ברשת.
מתאים ל
- ניסוי שידור חי למודל
בדיקת יכולות הזרמת אודיו ווידאו בזמן אמת מול מודל מולטימודל דרך דפדפן.
- הצגת גרפים מבוססי נתונים
רינדור נתונים ותרשימים ישירות בממשק באמצעות שילוב ספריית vega-embed.
- קרקוע תוצאות חיפוש
בחינת יכולות החיבור של המודל למידע עדכני מתוצאות החיפוש של גוגל.
- בסיס לפיתוח יישומי ווב
שימוש בשלד ה־React ובלקוח ה־websocket כנקודת מוצא לפרויקט מותאם אישית.
איפה זה נופל
זהו ניסוי קוד להמחשה ולא מוצר מוגמר, כך שהוא עלול לקרוס או להשתנות. בלי מפתח API תקין מחשבון גוגל שלכם שום דבר כאן לא יעבוד. בנוסף, חיבורי websocket לשידור חי של וידאו וקול רגישים מאוד לקטיעות תקשורת ולעיכובים ברשת, מה שיכול לפגוע בזמן התגובה.
שאלות
נפוצות
האם השימוש ביישום כרוך בתשלום?
הקוד והדוגמה פתוחים, אך נדרש מפתח פרטי מ־Google AI Studio. גוגל מאפשרת יצירת מפתח חינמי, אך השימוש כפוף למכסות ולתנאים שלהם.
מה קורה עם קטעי הווידאו והקול שלי?
הזרמת המדיה מהמיקרופון, מהמצלמה או מהמסך נשלחת ישירות ל־API של גוגל לצורך עיבוד בזמן אמת. המידע מטופל לפי מדיניות השימוש והפרטיות של גוגל.
האם אפשר להריץ את היישום מקומית על המחשב?
כן, המאגר מיועד לפיתוח מקומי. מתקינים את החבילות דרך npm ומריצים את פקודות השרת והלקוח בשני חלונות טרמינל מקבילים לפי ההוראות.
במה הממשק הזה שונה משימוש רגיל ב־API?
היישום מספק מעטפת גרפית מוכנה מבוססת React. הוא מטפל אוטומטית בהזרמת המדיה וחיבור ה־websocket, במקום שתצטרכו לבנות תשתית כזאת בעצמכם.
איך משתמשים
כדי להתחיל לעבוד צריך להנפיק מפתח API חינמי מ־Google AI Studio ולהגדיר אותו בסביבת ההרצה. אם מריצים מקומית מתקינים תלויות ב־npm ומפעילים במקביל את השרת ואת ממשק הלקוח בשני חלונות טרמינל שונים. בדפדפן היישום נשען על מעבד בסיסי בלבד, אך היות ועיבוד המדיה והבינה המלאכותית נעשים בצד השרתים של גוגל, עומס המחשוב המקומי נמוך יחסית.
הרישיון
הרישיון של הפרויקט לא דווח במאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או להפצה מחדש. כל שידור קול, וידאו או תוכן אחר עובר ישירות לשרתי גוגל וכפוף לתנאי השימוש ומדיניות הפרטיות של Google AI Studio.