vit-gpt2-coco-en

מה זה

מדובר בשילוב ישיר בין ViT לבין GPT-2 שנועד לקחת תמונה ולהוציא משפט שמתאר אותה באנגלית. הוא אומן על COCO, כך שהוא מכיר בעיקר חפצים יומיומיים, אנשים ובעלי חיים בסביבות פשוטות ומוכרות. היוצר מעיד בעצמו שהמודל לא מתיימר להיות בחזית הטכנולוגיה, אלא משמש בעיקר הדגמת יכולת למסגרת העבודה של Flax Vision Encoder Decoder.

בגודל של 239 מיליון פרמטרים אין כאן שום קסם של מודלים מודרניים רב-מודאליים. הוא לא מנתח לעומק יחסים מורכבים בפריים ולא מספק פסקאות מפורטות, אלא זורק שורת תיאור תמציתית. היתרון היחיד של הגודל הזה הוא היכולת להרים משהו קל ומהיר שעובד מקומית, בלי צורך במערכי שרתים מנופחים.

מתאים ל

• בדיקת היתכנות מקומית

  מאפשר לבדוק תהליך של יצירת כיתוב לתמונה על מחשב פיתוח רגיל וללא עלויות ענן.

• תיוג ראשוני של תמונות

  מספק תיאור בסיסי באנגלית לחפצים ועצמים ברורים מתוך מאגרים פשוטים.

• התנסות ב־Flax

  מדגים עבודה ישירה עם ארכיטקטורת קידוד ופענוח של Hugging Face בסביבת Flax.

איפה זה נופל

היוצר מציין במפורש שהמודל רחוק מלהיות בחזית התחום. האימון על COCO מגביל אותו לעולם מושגים מצומצם, והוא נוטה לייצר תיאורים שטחיים או שגויים כשהקומפוזיציה מורכבת. הוא עובד באנגלית בלבד, כך שאין מה לבנות עליו לפלט בעברית, ולפני שמכניסים אותו לתהליך עבודה צריך לבדוק כמה הזיות הוא מייצר על תמונות שחורגות מהמאגר המקורי.

איך מריצים

בזכות 239 מיליון פרמטרים ומשקל קבצים של 3.6 גיגה-בייט, לא צריך חומרה מיוחדת כדי לעבוד איתו. כרטיס מסך בסיסי או מעבד מודרני יריצו אותו בלי בעיה דרך ספריית transformers בפייתון, עם תמיכה ב־PyTorch או ב־Flax.

אם אתם רק צריכים לבדוק תיוג תמונות מהיר כחלק מניסוי פנימי, ההרצה המקומית הגיונית. לעומת זאת, אם המטרה היא מערכת ייצור שמצריכה זיהוי מדויק או תיאורים עשירים, עדיף להשתמש ב־API של מודלים מודרניים ולא לבזבז זמן על אחזקת שרת למודל מיושן יחסית.

from transformers import pipeline

pipe = pipeline("image-to-text", model="ydshieh/vit-gpt2-coco-en")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 3.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin982.1 MB
• tf_model.h5957.3 MB
• model.safetensors956.8 MB
• flax_model.msgpack956.8 MB
• events.out.tfevents.1633443513.t1v-n-bb5dfd23-w-0.8655.0.v28.3 MB
• generation_eval.json3.7 MB
• tokenizer.json1.4 MB
• vocab.json798.2 KB
• merges.txt456.4 KB
• val_000000039769.jpg173.1 KB
• report.txt120.6 KB
• README.md2.9 KB
• pipeline.py2.1 KB
• config.json1.9 KB
• .gitattributes1.2 KB
• tokenizer_config.json236 B
• preprocessor_config.json211 B
• generation_config.json179 B
• special_tokens_map.json120 B
• requirements.txt97 B

הרישיון

בעמוד המודל לא דווח רישיון כלל. מבחינה משפטית, כשאין רישיון מוגדר אין היתר ברור לשימוש מסחרי או להפצה בתוך מוצר. אם אתם בונים מערכת מסחרית, כדאי להימנע משימוש בו עד לבירור מול היוצר.

הרישיון המלא בעמוד המודל ↗