paligemma

מה זה

אתם מעלים תמונה, כותבים הנחיה בתיבת הטקסט ובוחרים מודל מתוך הרשימה שמוגדרת בקוד לצד קביעת אופן הדגימה. הפלט מחזיר טקסט מודגש או תמונה עם סימונים ויזואליים, בהתאם למשימה שהגדרתם בהוראה.

מאחורי הקלעים רץ המימוש של גוגל ריסרץ מתוך פרויקט ביג ויזן, שנשען על ספריית ג'אקס. המודלים עצמם מגיעים במשקלי ביפלוט16 שלוקחים קרוב לשישה גיגהבייט זיכרון לכל גרסה, כשהמערכת טוענת אותם ומפענחת את התוצאות לרכיבי הממשק.

הממשק כולל בלוק מובנה של דוגמאות שנמשכות מקובצי תמונות וג'ייסון מקומיים. הדוגמאות האלה מציגות מראש שילובים של תמונות קלט, מודל מתאים והנחיות מוכנות, כך שאפשר לראות איך המודל מגיב למשימות שונות בלי להעלות קובץ משלכם.

מתאים ל

• זיהוי וסימון עצמים

  העלאת תמונה וקבלת סימונים חזותיים על גבי האובייקטים לפי הנחיית טקסט מוגדרת מראש.

• מענה לשאלות על תמונות

  הזנת תמונה יחד עם שאלה ממוקדת כדי לחלץ תשובה טקסטואלית קצרה ומדויקת מהתוכן הוויזואלי.

• בדיקת דוגמאות מוכנות

  טעינת תרחישים קיימים מתוך הממשק כדי להבין את מבנה ההנחיות המתאים למודל.

איפה זה נופל

אם המודל שבחרתם לא נטען מראש או שהמעבד הגרפי לא זוהה בסביבה, ההרצה פשוט תזרוק שגיאה ותעצור. בנוסף, כל שימוש במודלים דורש אישור תנאי שימוש והגדרת טוקן מתאים של האגינג פייס, כך ששכפול עצמאי של הספייס לא יעבוד מהקופסה בלי הזדהות מסודרת. הממשק גם מוגבל ביכולת הזיכרון שלו על החומרה הנוכחית, מה שמונע החלפה מהירה בין גרסאות מודל שונות בזמן אמת.

אותה משפחה

paligemma יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך משתמשים

לוחצים על כפתור ההרצה הראשי אחרי העלאת תמונה ובחירת פרמטרים, או משתמשים בכפתור הניקוי כדי לאפס הכל. תמונה היא שדה חובה, ואם תשכחו להעלות אחת תקבלו שגיאה מפורשת. הממשק מציג חיווי של זמן העלייה וסוג המעבד הגרפי שזוהה על ידי ג'אקס.

כרגע החלל נמצא במצב מושהה, כך שאי אפשר להריץ אותו ישירות עד שהיוצרים יפעילו אותו מחדש או שתשכפלו אותו לחומרה משלכם. בקוד מוגדרת חומרת טי ארבע מדיום, שמספיקה להרצת מודל יחיד אבל מוגבלת מאוד בזיכרון, ולכן לא מאפשרת לשמור כמה גרסאות פתוחות במקביל בלי להיתקל במגבלות זיכרון.

הרישיון

הקוד מופץ תחת רישיון אפאצ'י שתיים אפס שמתיר שימוש, שינוי והפצה חופשית. עם זאת, הגישה למשקלי המודלים עצמם מחייבת אישור תנאי שימוש נפרדים בחשבון שלכם לפני הטעינה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗