Gemini-PRO-Vision-Chat

מה זה

אתם מעלים תמונה בלחיצת כפתור, מקלידים שאלה בתיבת הטקסט, ומקבלים תשובה בצ'אט. הממשק בנוי על רכיב ייעודי של צ'אט מולטימודלי בגרדיו, כך שאפשר לראות את השיחה יחד עם התמונות שנשלחו.

מאחורי הקלעים הקוד פונה ישירות ל־API של גוגל ומפעיל את Gemini-PRO יחד עם Gemini-PRO-Vision, תוך שימוש בספריית google.generativeai וטיפול בתמונות דרך ספריית PIL. שום מודל כבד לא רץ על השרת המקומי של היישום. מדובר במעטפת פשוטה שמעבירה את הקבצים שלכם לענן של גוגל ומחזירה את פלט הטקסט. אין בממשק דוגמאות מובנות מראש, כך שחייבים להעלות תמונה מהמחשב כדי להתחיל לבדוק.

מתאים ל

• שאילת שאלות על תמונות

  מעלים צילום ושואלים מה מופיע בו כדי לקבל תיאור מילולי מפורט.

• חילוץ מידע חזותי

  מזינים תמונה שמכילה פרטים ומבקשים תשובות ממוקדות על התוכן שלה.

• בדיקת ממשק מולטימודלי

  בוחנים איך נראה ומתנהג רכיב צ'אט שמציג תמונות וטקסט בגרדיו.

איפה זה נופל

הבעיה המיידית היא שהחלל נמצא במצב של תקלה ולא פועל כרגע. מעבר לכך, הממשק מקבל רק קובצי תמונה ולא מסמכים או וידאו. מכיוון שמדובר במעטפת דקה מעל ה־API הישן של Gemini Pro מ־2023, אין כאן שליטה על פרמטרים כמו טמפרטורה או אורך התשובה, וההתנהגות תלויה לחלוטין במצב השרתים של גוגל.

איך משתמשים

לוחצים על כפתור העלאת התמונה, בוחרים קובץ, כותבים שאלה בתיבת הטקסט ולוחצים אנטר. הכפתור מחליף כיתוב בזמן ההעלאה כדי להראות התקדמות. החומרה שהוגדרה היא מעבד בסיסי, וזה הגיוני כי כל החישובים נעשים בשרתי גוגל. עם זאת, נכון לעכשיו היישום מדווח על שגיאת ריצה, ולכן אי אפשר להשתמש בו ישירות בדפדפן בלי לתקן את הקוד או את מפתח הגישה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, מה שמאפשר להעתיק את הקוד, לשנות אותו ולהריץ אותו באופן עצמאי. לגבי התמונות והטקסט שאתם מזינים, הרישיון חל רק על התוכנה, בעוד המידע עצמו נשלח ישירות לגוגל וכפוף לתנאי השימוש שלהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗