חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
M

warshanks/medgemma-4b-it

רץ בדפדפן

warshanksרישיון לא דווח2025-05-22

  • gradio

צ'אט ייעודי לבדיקת מודל רפואי שמנתח שאלות טקסט לצד תמונות וסרטוני וידאו קצרים. מתאים לחוקרים, מפתחים ואנשי צוות רפואי שרוצים להתרשם מהיכולות בלי להתקין סביבת ריצה משלהם.

  • —הורדות בחודש
  • 39לייקים

מה זה

הממשק מבוסס על מודל google/medgemma-4b-it, גרסה רפואית של Gemma 3 שמיועדת למשימות תמונה וטקסט. אתם מקלידים שאלה ויכולים לצרף קבצים ישירות לתיבת השיחה: תמונות בודדות, סדרה של כמה תמונות, או קובץ וידאו בפורמט mp4. המודל קורא את הקבצים ומחזיר תשובות מילוליות מפורטות, כשהמערכת מזרימה את הטקסט בזמן אמת באמצעות TextIteratorStreamer.

בקוד הוגדרו הגבלות קשיחות לגבי הקלטים. אי אפשר לערבב בין תמונות לווידאו באותה הודעה, ומותר להעלות לכל היותר סרטון אחד. אם משתמשים בתגיות ייעודיות מסוג image בתוך הטקסט, מספר התגיות חייב להתאים בדיוק למספר התמונות שהועלו. הממשק נותן גישה גם להגדרת System Prompt שברירת המחדל שלו מציגה את המודל כמומחה רפואי, לצד סליידר שקובע את אורך הפלט המקסימלי עד 8,192 תווים.

מתאים ל

  • ניתוח ממצאים חזותיים

    העלאת צילום רפואי יחד עם תיאור מקרה כדי לבדוק איך המודל מזהה דפוסים חריגים.

  • הסבר מונחים קליניים

    הקלדת שאלות רפואיות מורכבות וקבלת הסברים טכניים מפורטים מתוך נקודת מבט מקצועית.

  • בדיקת מקטעי וידאו

    טעינת קובץ mp4 קצר לבחינת האופן שבו המודל מנתח רצף תנועה או הליך מתועד.

איפה זה נופל

מודל בגודל ארבעה מיליארד פרמטרים אינו תחליף לרופא אמיתי, והוא עלול לייצר טעויות רפואיות מסוכנות בביטחון מלא. הממשק לא יטפל בערבוב של וידאו ותמונות יחד, ואי אפשר להזין קובצי וידאו בפורמטים שאינם mp4. מעבר לכך, התקשורת רצה על תשתית שיתופית ולכן אסור לחלוטין להעלות צילומים רפואיים אמיתיים שמכילים פרטים מזהים של מטופלים.

אותה משפחה

medgemma יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

שאלות
נפוצות

האם השימוש בצ'אט הזה עולה כסף?

לא, הגישה לממשק פתוחה בדפדפן ואינה דורשת תשלום. המשאבים מוקצים על גבי חומרת zero-a10g ללא חיוב אישי. עם זאת, זמינות השרת עשויה להשתנות בעומסים גבוהים.

האם בטוח להעלות לשם בדיקות של מטופלים אמיתיים?

לא, אין להעלות לשם נתונים רפואיים רגישים או מזהים. המידע נשלח ומעובד בשרתים שאינם מוגדרים תחת תאימות רגולטורית להגנת פרטיות רפואית. הכלי מיועד לניסויים בלבד עם מידע אנונימי לחלוטין.

האם אפשר להריץ את המערכת הזו מקומית על המחשב שלי?

כן, המודל google/medgemma-4b-it והספריות שמופיעות בקוד זמינים להורדה חופשית. תצטרכו כרטיס מסך מתאים עם תמיכה ב־bfloat16 והתקנה של Gradio ו־Transformers. הממשק עצמו בנוי כולו בקובץ פייתון סטנדרטי.

במה הממשק הזה שונה מהרצת המודל ישירות בקוד?

הממשק חוסך את כתיבת הקוד והקצאת החומרה בכך שהוא מספק חלון צ'אט מוכן. הוא כולל טיפול אוטומטי בהמרת וידאו לפריימים וניהול קבצים באמצעות ספריית Gradio. לצד זה, הוא מגביל אתכם לכללים שהוגדרו בו מראש, כמו איסור שילוב תמונות עם סרטונים.

איך משתמשים

אתם גוררים תמונות או סרטון mp4 לחלון הצ'אט, כותבים שאלה ולוחצים שליחה. הריצה מתבצעת על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה, כך שייתכן עיכוב קצר של כמה שניות בעליית המודל אם הוא לא היה פעיל. אין צורך ברישום מיוחד כדי להזין שאלות, והתשובה נכתבת בהדרגה ישירות למסך.

הרישיון

הרישיון של המרחב הזה לא דווח בקוד או בתיעוד. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד הממשק, ויש לבדוק את תנאי השימוש הרשמיים של המודל המקורי מבית גוגל לפני שמסתמכים על התוצרים.

הרישיון המלא ב־Hugging Face ↗