חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
T

ThoughtsOrganizer

רץ בדפדפן

microsoftmit2025-02-26

  • gradio

microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.

הכלי הופך הקלטות קוליות לפתקים מסודרים עם טקסט ותובנות, ומאפשר להאזין להם בחזרה. הוא מיועד למי שמדבר לעצמו תוך כדי תנועה ורוצה סדר במחשבות בלי להקליד שום דבר ידנית.

  • —הורדות בחודש
  • 45לייקים

מה זה

אתם מקליטים את עצמכם ישירות דרך הדפדפן, מעלים קובץ שמע קיים, או בוחרים קטע קול מוכן מתוך תפריט הדוגמאות. מהצד השני מקבלים תצוגת טקסט מעובדת של הפתק, כולל אפשרות להקריא אותו בחזרה באמצעות מנגנון שמע שמובנה בממשק. בלשונית נפרדת אפשר גם לחפש בין כל הפתקים שנשמרו בעבר.

מאחורי הקלעים הקוד שולח את השמע לניתוח במודל המולטימודלי Phi-4 של מיקרוסופט דרך Azure AI. לאחר שהמודל מחזיר את התוכן המעובד, הקוד משתמש בספריית langdetect כדי לזהות את השפה, ומייצר גרסה קולית חדשה של הפתק בעזרת edge-tts.

מתאים ל

  • סיכום מחשבות מוקלטות

    מדברים למיקרופון ומקבלים פתק מאורגן וקריא במקום להקשיב שוב להקלטה ארוכה.

  • הקראת סיכומים חוזרת

    משתמשים בכפתור ההאזנה כדי לשמוע את הפתק המעובד בקול סינתטי ישירות בדפדפן.

  • חיפוש בהיסטוריית הקלטות

    עוברים ללשונית הפתקים ומאתרים הקלטות קודמות באמצעות תיבת חיפוש טקסטואלית.

איפה זה נופל

האפליקציה נמצאת במצב שינה ולכן צריך להמתין לעלייה שלה, ועל חומרת מעבד בסיסית פעולות מקומיות עלולות לרוץ לאט. בנוסף, העיבוד האמיתי של השמע תלוי לחלוטין בחיבור לשרתי Azure AI חיצוניים, כך שאם הקישור לשם נכשל או מוגבל, שום דבר לא יעבוד. הממשק גם מציג חיפוש וריכוז פתקים, אבל לא ידוע אם הנתונים נשמרים לטווח ארוך או נמחקים כשהשרת נרדם מחדש.

שאלות
נפוצות

האם השימוש עולה כסף?

לא, הגישה דרך הממשק בהאגינג פייס פתוחה ללא תשלום. אין צורך להכניס כרטיס אשראי או להגדיר חשבון ענן משלכם כדי להקליט ולעבד.

מה קורה לקבצי השמע שמקליטים?

ההקלטות נשלחות לעיבוד בשירותי Azure AI שמריצים את המודל של מיקרוסופט. מעבר לעיבוד המיידי והצגת הפתק בלשונית ההיסטוריה בממשק, לא ידוע כמה זמן הקבצים נשמרים בשרת.

האם אפשר להריץ את הקוד באופן מקומי?

כן, הקוד מבוסס על Gradio ומשתמש ברישיון MIT חופשי. עם זאת, תצטרכו להגדיר גישה עצמאית למודל Phi-4 ב־Azure AI כדי שהעיבוד של השמע יפעל אצלכם במחשב.

במה שונה הכלי מהמודל Phi-4 עצמו?

הכלי הזה הוא רק מעטפת שמחברת בין הקלטת שמע, שליחה למודל בענן, זיהוי שפה והקראה קולית עם edge-tts. המודל עצמו הוא מנוע שפה מולטימודלי כללי שמסוגל לקבל שמע ולנתח אותו, וכאן בנו סביבו יישום ספציפי לניהול פתקים.

איך משתמשים

נכנסים לממשק, מקליטים או מעלים קובץ שמע, ולוחצים על Process Note. העיבוד מתבצע מול שרתי Azure AI, אבל המרחב עצמו יושב על חומרת cpu-basic ונמצא כרגע במצב שינה, כך שההפעלה הראשונה דורשת המתנה של דקה או שתיים להתעוררות. אין צורך בהרשמה או בהזנת מפתח אישי כדי לבדוק אותו.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים. לגבי קובצי השמע והפתקים שאתם מעלים או מפיקים, הם עוברים לעיבוד בתשתית Azure של מיקרוסופט בהתאם לתנאי השירות שלה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗