Multimodal-VLM-Thinking

מה זה

מעלים תמונה, כותבים הנחיה בטקסט, ובוחרים אחד מחמישה מודלים לעיבוד. הפלט הוא תשובת טקסט שמציגה את הניתוח, החשיבה או התוכן שחולץ מהקובץ.

מאחורי הקלעים הקוד טוען מודלים שונים לחלוטין. יש כאן את VisionThink-Efficient ואת Lumian-VLR-7B-Thinking שמבוססים על Qwen2.5-VL ומכוונים לחשיבה ויזואלית, את MiniCPM-V-4 הרב-תכליתי, ולצידם שני מודלים שמתמקדים בטקסט ובמסמכים, olmOCR-7B-0225-preview ו־typhoon-ocr-3b.

הממשק כולל דוגמאות מוכנות שנטענות בלחיצה כדי לבדוק את היכולות מיד, ומאפשר לשלוט בהגדרות היצירה כמו טמפרטורה, top-p, ענישה על חזרתיות ומספר הטוקנים המרבי.

מתאים ל

• השוואת מודלי ראייה

  הרצת אותה תמונה מול מודלים שונים כמו Lumian ו־MiniCPM כדי לבחון איכות פירוט וחשיבה.

• חילוץ טקסט ממסמכים

  הזנת סריקות ומסמכים מורכבים למודלים ייעודיים כמו olmOCR או Typhoon לצורך זיהוי תווים.

• פתרון בעיות חזותיות

  ניתוח דיאגרמות ותרשימים בעזרת מודלי חשיבה שמפרקים את התמונה לשלבים.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה תקועה על RUNTIME_ERROR. גם כשהיא עובדת, ניסיון לטעון חמישה מודלים נפרדים וכבדים על מאיץ A10G יחיד הוא מתכון לקריסות זיכרון ולזמני המתנה ארוכים.

מעבר לזה, המודלים שונים מאוד במטרות שלהם. שימוש במודל ייעודי למסמכים כמו olmOCR לשאלות כלליות על תמונה ייתן תוצאות רעות, ולהפך.

אותה משפחה

Multimodal-VLM יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך משתמשים

טוענים תמונה באמצעות כפתור ההעלאה או בוחרים דוגמה מהרשימה, בוחרים בלשונית את המודל הרצוי, ולוחצים על כפתור ההרצה. בסיום אפשר להעתיק את הטקסט או לשמור אותו לקובץ.

הקוד מקצה 60 שניות ריצה על גבי מאיץ zero-a10g. עם זאת, נכון לעכשיו העמוד נמצא במצב שגיאת ריצה, ולכן אי אפשר להריץ בו פקודות בפועל עד שהמפתח יתקן את התקלה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמת הקוד. לגבי התמונות שמעלים והפלט שנוצר, הכל עובר דרך שרתי Hugging Face ולכן כפוף לתנאי השימוש הרגילים שלהם, כך שלא כדאי להעלות מידע רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗