PE-Core-L14-336
קוד פתוחfacebookapache-2.02025-04-11
מקודד תמונה וטקסט של מטא לסיווג ואחזור ללא אימון מוקדם. הוא נותן חדות גבוהה ברזולוציית 336 פיקסלים בלי להגיע לנפחים הכבדים של דגמי הענק.
- 2.5 GBמשקל הקבצים
- 394,344הורדות בחודש
- 56לייקים
מה זה
מטא בנתה כאן מקודד ראייה וטקסט שמשמש חלופה ישירה לארכיטקטורת קליפ המוכרת. המודל כולל רשת תמונה עם שלוש מאות ועשרים מיליון פרמטרים ורשת טקסט עם שלוש מאות ועשרה מיליון פרמטרים נוספים. שניהם מוציאים וקטור משותף בגודל של אלף עשרים וארבעה ממדים, ומאומנים על תמונות יחד עם סרטונים סינתטיים כדי להבין גם פעולות ורצפים בזמן.
התוצאות שלו מראות יתרון ברור במקומות שדגמים רגילים מתבלבלים בהם. במבחני עמידות כמו אובג'קט-נט הוא מגיע לציון של שמונים וארבע נקודה שבע, ובאימג'נט-איי לציון שמונים ותשע. המשמעות היא שהוא לא נשבר כשהזווית משונה, כשיש רקע עמוס או כשהעצם מוסתר בחלקו.
מתאים ל
- סיווג תמונות מהיר
מאפשר לתייג קטלוגים גדולים של תמונות לפי רשימת תוויות טקסטואלית קצרה, בלי לאמן מודל ייעודי לכל קטגוריה.
- אחזור וידאו לפי טקסט
האימון על סרטונים סינתטיים עוזר לו למצוא קטעי וידאו רלוונטיים במאגר לפי תיאור פעולה קצרצר.
- חיפוש ויזואלי עמיד להפרעות
הציונים הגבוהים במבחני זוויות מורכבות הופכים אותו למתאים לאיתור מוצרים גם כשהצילום מטושטש או בזווית עקומה.
איפה זה נופל
מגבלת הטקסט כאן קשיחה ועומדת על שלושים ושניים טוקנים בלבד. אי אפשר להזין פסקאות ארוכות, תיאורים מפורטים או שאילתות מורכבות, אלא רק משפטים קצרים וממוקדים מאוד. מעבר לזה, רזולוציית הקלט מוגבלת לשלוש מאות שלושים ושש על שלוש מאות שלושים ושש פיקסלים. פרטים קטנטנים בתוך תמונות ענק ייעלמו בעיבוד המקדים, והמודל עובד דרך מאגר קוד פרטי ולא ישירות דרך ספריות מדף מוכרות.
שאלות
נפוצות
האם אפשר להשתמש בו כמנוע חיפוש טקסטואלי למסמכים ארוכים?
לא. חלון הטקסט שלו חסום לשלושים ושניים טוקנים בלבד. הוא מתאים למילים בודדות או משפטים קצרים שמתארים עצם, ולא לקריאת פסקאות או מאמרים.
למה לבחור בו במקום בגרסה הגדולה יותר מאותה משפחה?
הגרסה הגדולה דורשת רזולוציה גבוהה יותר וכמעט שני מיליארד פרמטרים רק ברשת הראייה. הדגם הזה שוקל שניים וחצי ג'יגה בייט בלבד, מציע ביצועים קרובים מאוד וצורך הרבה פחות משאבי חישוב וזיכרון.
איך מריצים
המשקל הכולל של הקבצים עומד על שניים וחצי ג'יגה בייט. בשביל להריץ אותו צריך כרטיס מסך סטנדרטי עם זיכרון צנוע של שמונה עד שנים עשר ג'יגה בייט, והוא ירוץ מקומית בלי מאמץ מיוחד.
ההתקנה דורשת סביבת פייתון ייעודית, פייטורץ' ומאגר קוד ייעודי של מטא בגיטהאב, לצד ספריות כמו טורצ'קודק לעבודה עם וידאו. אם אתם צריכים רק תיוג מהיר של כמה תמונות בודדות פעם ביום, הקמה של כל הסביבה הזו היא עבודה מיותרת, אבל לפרויקטים שרצים בקצב קבוע על מכונה שלכם, ההרצה המקומית ישירה ומהירה.
pip install -U huggingface_hub hf download facebook/PE-Core-L14-336
הקבצים
4 קבצים במאגר, 2.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל שוחרר תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהטמיע אותו בתוך מוצרים חופשיים או סגורים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים