hysts/BLIP2

מה זה

אתם מעלים תמונה ובוחרים באחת משתי לשוניות. בלשונית הראשונה מקבלים כיתוב אוטומטי שמתאר את התמונה, ובלשונית השנייה שואלים שאלות בצ'אט על הפרטים שמופיעים בה ומקבלים תשובות טקסט.

מאחורי הקלעים רץ מודל מסדרת BLIP-2 של Salesforce, בברירת מחדל גרסת flan-t5-xxl, שנטענת בכימות של 8 ביט כדי לחסוך זיכרון. הקוד כולל תמיכה גם בגרסאות נוספות כמו flan-t5-xl ודגמי opt, לצד דוגמאות מובנות בממשק שאפשר להפעיל בלחיצה אחת.

הממשק פותח אפשרויות מתקדמות למי שרוצה לשלוט בפלט, כולל בחירת שיטת פענוח, טמפרטורה, ענישה על חזרתיות, ואורך מינימלי או מקסימלי של הטקסט שנוצר.

מתאים ל

• תיאור תמונות אוטומטי

  מעלים תמונה ומקבלים משפט תיאור קצר באנגלית על התוכן המרכזי שמופיע בה.

• מענה לשאלות על תמונה

  מזינים שאלה בצ'אט לגבי אובייקטים, צבעים או פעולות שמופיעים בתמונה ומקבלים תשובה.

• ניסוי פרמטרים לייצור טקסט

  משנים הגדרות כמו טמפרטורה ומספר קרניים כדי לראות איך הן משפיעות על הפלט.

איפה זה נופל

הקוד טוען את המודל בכימות של 8 ביט, ולכן הביצועים והדיוק עשויים להיות שונים מעט מהרצת המודל המקורי במשקל מלא. הממשק הנוכחי מוגדר למודל ספציפי שנבחר מראש בהגדרות הסביבה, כך שאי אפשר להחליף בין גרסאות ה־FLAN וה־OPT מתוך הדפדפן עצמו.

איך משתמשים

גוררים תמונה לחלון, בוחרים אם לייצר תיאור בלחיצה על כפתור או להקליד שאלה וללחוץ על שליחה. אין צורך בהתחברות או בהרשמה.

העיבוד רץ על מאיץ A10G דרך תשתית Zero GPU, מה שאומר שהשרת מפעיל את החומרה לפי דרישה. זמני התגובה תלויים בעומס הרגעי על השרתים המשותפים.

הרישיון

הקוד מופץ תחת רישיון bsd-3-clause שמאפשר שימוש רחב, כולל שינוי והפצה, בכפוף לשמירה על הודעת זכויות היוצרים ותנאי הרישיון. תנאי השימוש בתמונות שמעלים ובפלט שנוצר כפופים למדיניות של תשתית האחסון ולמגבלות של מודלי המקור של Salesforce.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗