multimodal-chat-MBTI-ISTP

מה זה

אתם מעלים קובצי תמונה, מסמכי PDF או נתוני טבלאות לצד שאלות טקסט, ומקבלים תשובות בצ'אט שאמורות לשקף סגנון תקשורת של טיפוס ISTP. המערכת כוללת תמיכה בחיפוש ועיבוד קבצים מקומי, כשהפלט מגיע כהודעות טקסט רציפות בחלון השיחה.

מאחורי הקלעים הקוד טוען את המודל Gemma3ForConditionalGeneration של גוגל יחד עם מעבד נתונים מתאים מספריית transformers, ומשתמש בטכניקות של הזרמת טקסט בזמן אמת. בנוסף, הקוד כולל רכיבים לעיבוד תמונה עם ספריית OpenCV, חילוץ טקסט מתוך קובצי PDF וטעינת נתונים עם pandas, במטרה לתת מענה לשאלות שמערבות קבצים מצורפים.

מתאים ל

• ניתוח מסמכי PDF ותמונות

  שליחת קבצים ושאלות לקבלת פענוח טקסטואלי של התוכן שלהם.

• בדיקת אישיות ISTP

  ניהול שיחה רגילה מול מודל שאמור לענות בסגנון המאפיין את הטיפוס.

• בחינת הרצת Gemma 3

  בדיקה של האופן שבו המודל של גוגל מגיב לשילוב בין טקסט לקבצים.

איפה זה נופל

נכון לעכשיו אי אפשר להשתמש בכלי בכלל. המצב שלו מוגדר כשגיאת בנייה, ולכן הממשק פשוט לא עולה בדפדפן. מעבר לכך, ההבטחה בתיאור ליכולות שמקבילות למוצר כמו GPT-4o לא עומדת במבחן המציאות כשמנסים להריץ מודל ג'מה על מעבד רגיל ללא כרטיס מסך, מה שהיה יוצר צוואר בקבוק כבד בעיבוד תמונות ומסמכים.

איך משתמשים

בפועל אתם ניגשים לממשק הדפדפן של גרדיו, טוענים קובץ או כותבים שאלה בתיבה, ושולחים. אין צורך בהתקנה מקומית, אבל היישום מוגדר על חומרת cpu-basic בסיסית ביותר וללא מאיץ גרפי ייעודי, כך שגם אם הריצה הייתה עובדת, זמני התגובה היו איטיים מאוד.

הרישיון

הפרויקט לא כולל רישיון מוגדר, מה שאומר שאין הרשאה ברורה לשימוש מסחרי או להעתקת הקוד. בנוסף, לא ידוע מה קורה עם קבצים או שיחות שמועלים לשם, ולכן עדיף לא להזין מידע רגיש.

הרישיון המלא ב־Hugging Face ↗