FamilyLegacy

מה זה

אתם מעלים דגימת קול קצרה של האדם שרוצים לשכפל, יחד עם הקלטות של סיפורים וזיכרונות משפחתיים. לאחר מכן מקלידים שאלות ומקבלים תשובה מנוסחת שנאמרת בקול המשוכפל. הממשק מחבר כמה מודלים יחד כדי לייצר שיחה שמרגישה אישית, עם התאמה לסוג הקרבה המשפחתית.

מאחורי הקלעים הקוד מתמלל את קובצי האודיו עם Whisper בגרסת base ומאחסן את התוכן בבסיס נתונים וקטורי מסוג Qdrant, באמצעות sentence-transformers/all-MiniLM-L6-v2. מודל הטקסט Qwen2.5-3B-Instruct לוקח את הסיפור הרלוונטי שנשלף ומחבר תשובה, ואז מודל VoxCPM2 מייצר את קובץ האודיו הסופי לפי מאפייני הקול שנשמרו ב־MongoDB.

מתאים ל

• שימור סיפורי משפחה

  מעלים הקלטות של קרובים ומאפשרים לשמוע שוב סיפורים אישיים כמענה לשאלות.

• שכפול קול אישי

  מייצרים דגם דיגיטלי מקול של אדם על בסיס דגימת אודיו קצרה בלבד.

• חיפוש בזיכרונות מוקלטים

  מאנדקסים מאגר של סיפורים קוליים ושולפים אותם לפי הקשר סמנטי ישיר.

איפה זה נופל

ההדגמה הנוכחית לא נגישה בלחיצה בדפדפן בגלל סטטוס המערכת, כך שאי אפשר לבדוק אותה בלי פריסה עצמאית. מודל הטקסט קטן יחסית, 3 מיליארד פרמטרים בלבד, והוא עלול לייצר טעויות או לפספס עובדות מהזיכרונות שנשמרו. בנוסף, מודל התמלול הוא Whisper base שמתקשה בדיוק בהקלטות ישנות או באיכות נמוכה.

איך משתמשים

נכון לעכשיו אי אפשר להשתמש באפליקציה ישירות בדפדפן כי השרת שלה נמצא במצב מושהה. בעבודה רגילה היא מבוססת על חומרת zero-a10g שמפעילה את עיבוד הקול והטקסט במעבד גרפי, בעוד התמלול מוגדר לרוץ על המעבד המרכזי. כדי להפעיל אותה כרגע צריך להוריד את הקוד, להתקין תלויות פייתון, לחבר בסיסי נתונים של MongoDB ו־Qdrant ולהריץ שרת מקומי בפורט 7860.

הרישיון

הפרויקט מפורסם ברישיון MIT המאפשר שימוש, שינוי והפצה באופן חופשי. עם זאת, הקבצים וההקלטות שאתם מעלים מאוחסנים בבסיסי נתונים חיצוניים, ולכן בהרצה עצמאית אתם אלה ששולטים על שמירת הפרטיות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗