omdet-turbo-swin-tiny-hf
קוד פתוחomlabapache-2.02024-09-24
מודל זיהוי אובייקטים פתוח וקל משקל שמוצא עצמים בתמונה לפי טקסט חופשי. הוא שוקל פחות מחצי ג'יגה, מה שהופך אותו לרלוונטי כשצריך ביצועים מקומיים מהירים בלי לשלם על שרתים כבדים.
- 115Mפרמטרים
- 442 MBמשקל הקבצים
- 38,998הורדות בחודש
- 42לייקים
מה זה
מדובר בגרסת Tiny שמבוססת על ארכיטקטורת Swin ומיועדת למשימות זיהוי אובייקטים בגישת Zero-Shot, או אוצר מילים פתוח. במקום לאמן מודל רק על קטגוריות קבועות מראש כמו חתול או רכב, אתם שולחים לו תמונה יחד עם תיאור טקסטואלי חופשי של מה שאתם מחפשים, והוא מחזיר מיקומים של העצמים.
המודל כולל 115 מיליון פרמטרים ומשלב מנגנון היתוך יעיל בין טקסט לתמונה, שפותח במטרה לעבוד בזמן אמת. הוא תומך בהרצה על תמונה בודדת או באצוות של כמה תמונות במקביל, כאשר אפשר להגדיר פרומפטים ומחלקות שונות לכל תמונה בתוך אותה אצווה. בהשוואה למודלי ענק בתחום הראייה הממוחשבת, הדגש כאן הוא על מהירות ותקורה נמוכה של משאבים.
מתאים ל
- סינון תמונות בזמן אמת
זיהוי מהיר של תוכן לא רצוי או אובייקטים לפי מילות מפתח, ישירות על שרת פנימי קל.
- קטלוג מוצרים לפי טקסט
איתור פריטים ספציפיים במאגר תמונות גדול לפי חיפוש דינמי של משתמשים, בלי אימון מחדש.
- הרצה על חומרת קצה
משקל של 442 מגה-בייט מאפשר להריץ אותו ישירות על מחשבים תעשייתיים או עמדות מקומיות.
איפה זה נופל
הגרסה הזו היא הקטנה ביותר במשפחה, ועם 115 מיליון פרמטרים היא תתקשה לזהות פרטים זעירים, עצמים מוסתרים חלקית או הנחיות טקסט מורכבות ומפותלות מדי. כרטיס המודל לא מציג נתוני דיוק מספריים או מבחני ביצועים מפורטים, כך שחובה לבדוק אותו על הדאטה הספציפי שלכם לפני שמשלבים אותו בזרימת עבודה אמיתית.
שאלות
נפוצות
האם המודל מבין תוויות בעברית?
הוא נשען על מודלי שפה וראייה שאומנו בעיקר באנגלית. כדי לקבל תוצאות אמינות בזיהוי האובייקטים, מומלץ להעביר לו את הפרומפטים והמחלקות באנגלית בלבד.
האם חייבים GPU בשביל להריץ אותו?
לא חובה. הגודל הקטן מאפשר להריץ היסקים גם על CPU רגיל, אם כי לעבודה עם אצוות גדולות או קצב פריימים גבוה עדיין עדיף להשתמש במאיץ גרפי פשוט.
איך מריצים
המשקל הכולל של הקבצים עומד על 442 מגה-בייט בלבד בפורמט float32, כך שאין צורך במעבדים גרפיים יקרים. אפשר להריץ אותו בלי בעיה על כרטיס מסך ביתי בסיסי ואפילו על מעבד רגיל, במיוחד אם מנצלים את התמיכה של Hugging Face בארכיטקטורת OmDetTurboForObjectDetection.
אם אתם צריכים לזהות עצמים בקצב גבוה, הרצה עצמאית בתוך הקוד שלכם עדיפה בהרבה על שירות ענן חיצוני שיגבה תשלום לפי קריאה ויוסיף זמני שיהוי של רשת. המודל מתאים למי שרוצה שליטה מלאה בתשתית ובאצוות העבודה.
pip install -U huggingface_hub hf download omlab/omdet-turbo-swin-tiny-hf
הקבצים
9 קבצים במאגר, 442 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה פנימית או חיצונית בתוך מוצרים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים