lumi-voice-companion
רץ בדפדפןlablab-ai-amd-developer-hackathonרישיון לא דווח2026-05-10
בן לוויה קולי לחולי דמנציה ואלצהיימר, שמנהל שיחה תומכת, זוכר פרטים אישיים ומזהה ניסיונות הונאה. הממשק מיועד לבני משפחה ומטפלים שמחפשים ערוץ תקשורת מותאם ובטוח.
- —הורדות בחודש
- 43לייקים
מה זה
מדברים עם הממשק בהודעות טקסט או בהקלטה קולית דרך המיקרופון, ומקבלים תגובה קולית מדוברת בליווי וידאו של דמות מדברת, או מענה כתוב בצ'אט. המערכת כוללת ארבע לשוניות מרכזיות, ביניהן בחירת פרופיל עבור בן הלוויה, ולוח בקרה למשפחה שבו מפיקים סיכום של השיחה וצופים בעובדות שנשמרו על המטופל לאורך זמן.
מאחורי הקלעים פועל מודל שפה שעבר התאמה עדינה מבוססת QLoRA ואימון בחיזוקים דרך GRPO, עם מודלים רשומים כמו YUGOROU/lumi-grpo או גרסת Qwen3-4B ייעודית. הצינור הטכני משלב מודל Whisper לתמלול דיבור, מנגנון קול חוזר, מנוע זיכרון מבוסס ChromaDB, ומסנן שמסיט ניסיונות הונאה של קשישים בלי לעורר בהלה.
מתאים ל
- שיחה ותרגול זיכרון
ניהול שיחות יומיות קוליות מותאמות עם חולי דמנציה, תוך שמירה על עובדות אישיות בין מפגשים.
- סיכומי מעקב למשפחה
הפקת כרטיסי סיכום משיחות ומעקב אחרי פרטים חדשים שנלמדו על המטופל בלוח הבקרה.
- חסימת הונאות קשישים
זיהוי אוטומטי של פניות חשודות ודחייתן בצורה רגועה שאינה מלחיצה את המטופל.
איפה זה נופל
האפליקציה אינה פתרון עצמאי שפועל בלחיצת כפתור, כי היא תלויה לחלוטין בשרתים חיצוניים שצריך לספק בעצמכם. כל מערך ההגנה מהונאות, הזיכרון והתקשורת הרגשית אומן על נתונים באנגלית, כך שאין כאן התאמה לשפה העברית. בנוסף, חומרת הבסיס הנוכחית אינה מסוגלת להריץ את המודלים במהירות של 21 מילישניות שמצוינת בתיעוד בלי שרת ייעודי.
שאלות
נפוצות
האם האפליקציה חינמית לחלוטין?
הקוד והממשק פתוחים לצפייה, אך האפליקציה דורשת נקודת קצה של שרת vLLM כדי לעבוד. החומרה שמחזיקה את המודל הזה כרוכה בעלויות שרת נפרדות. ללא חיבור שרת חיצוני כזה, הממשק אינו פעיל.
האם אפשר להריץ את הכל מקומית?
כן, הקוד בנוי מעל Gradio ומשתמש בספריות סטנדרטיות כמו ChromaDB וממשקי OpenAI. תצטרכו להוריד את הקבצים, להתקין את התלויות ולהפנות את משתני הסביבה למודלים מקומיים. מומלץ להחזיק כרטיס גרפי מתאים כדי לקבל מענה קולי מהיר.
כמה זמן לוקח לקבל תגובה קולית?
התיעוד מדווח על זמן חציון של 21 מילישניות עד תחילת השמעת האודיו בעבודה מול מעבדי שרת חזקים. בממשק הנוכחי שנמצא במצב שינה על מעבד פשוט, המענה לא יפעל עד שלא תחברו תשתית מתאימה. קצב התגובה תלוי לחלוטין במהירות השרת החיצוני שתגדירו.
איך משתמשים
לוחצים על כפתור ההקלטה בלשונית הקול, מדברים ושולחים, או מקלידים בתיבת הצ'אט. בפועל האפליקציה נמצאת במצב שינה ומוגדרת על חומרת מעבד בסיסית, כך שהיא לא תעבוד מיד עם הכניסה. כדי להריץ אותה נדרש שרת vLLM חיצוני פעיל עם נקודות קצה תואמות למודל, לתמלול ולדיבור, והגדרת משתני סביבה ספציפיים בהגדרות החשבון.
הרישיון
הרישיון של הפרויקט לא דווח על ידי המפתחים. ללא רישיון קוד פתוח ברור או תנאי שימוש מוגדרים, אין אישור מפורש לשימוש מסחרי, וכל מידע או הקלטה שמעבירים דרך שרתי הרשת עלולים להיות חשופים בהתאם להגדרות השרת המארח.