coreml-mobileclip

קוד פתוח

appleother2024-10-21

coreml

גרסאות מכווצות של מודל תמונה וטקסט שהומרו ישירות לפורמט של אפל. הן מיועדות למי שחייב אפס זמני המתנה בחיפוש תמונות מקומי על מכשירי קצה.

762 MBמשקל הקבצים
4,358הורדות בחודש
55לייקים

מה זה

המאגר הזה מרכז את מקודדי התמונה והטקסט של MobileCLIP כשהם סגורים בתוך קובצי Core ML. הרעיון הוא לקחת משימות של חיפוש והשוואה בין טקסט לתמונה, ולהריץ אותן ישירות במכשיר בלי לשלוח מידע לרשת ובלי לסחוב משקלים עצומים של מודלים שולחניים.

בפועל, המודל הקטן ביותר בסדרה, S0, מגיע לדיוק zero-shot דומה לזה של ViT-B/16 של OpenAI, אבל רץ פי 4.8 מהר יותר ושוקל פחות משליש ממנו. הגרסה הכבדה ביותר, B LT, מגיעה לתוצאה של 77.2% בדיוק על ImageNet, שזה נתון שמתעלה אפילו על מודלים גדולים בהרבה של SigLIP או OpenAI, תוך שמירה על זמני ריצה של אלפיות שנייה בודדות.

מתאים ל

חיפוש תמונות פנימי באייפון
זמני ריצה של פחות מחמש אלפיות שנייה מאפשרים אינדוקס וחיפוש מהיר של גלריית תמונות מקומית.
סיווג תמונות בזמן אמת
התאמה למצלמת המכשיר לזיהוי קטגוריות בלי לשלוח שום פריים לשרת מרוחק.
סינון תוכן מקומי במכשיר
בדיקת התאמה בין טקסט לתמונה ישירות על החומרה כדי לחסום תוכן לא מתאים לפני העלאה לרשת.

איפה זה נופל

אפל לא פרסמה בכרטיס המודל פרטים לגבי תמיכה בשפות שאינן אנגלית, ולכן ברירת המחדל היא הנחה שהטקסט חייב להיות באנגלית בלבד. בנוסף, מדובר במקודדים בלבד. המודל לא מייצר תיאורי תמונה, לא עונה לשאלות מורכבות ולא מנהל שיחה, אלא מחשב וקטורים לצורך השוואה ומיון.

הגרסאות הקלות משלמות בדיוק. גרסת S0 מגיעה ל־67.8% ב־ImageNet וממוצע של 58.1% בלבד ב־38 מאגרי בדיקה, פער של קרוב לעשרה אחוזים לעומת גרסאות ה־B. אם מנסים לזהות אובייקטים נדירים או להבדיל בין מושגים קרובים מאוד, הגרסאות המהירות יפספסו באופן מורגש.

שאלות
נפוצות

האם המודל תומך בחיפוש תמונות בעברית?

כרטיס המודל לא מציין תמיכה בריבוי שפות או אימון על נתונים בעברית. מודלים מסוג זה מאומנים לרוב על טקסט באנגלית, ולכן לשימוש בעברית תידרשו לתרגם את השאילתות לאנגלית לפני ההרצה.

איזו גרסה מומלץ לבחור מתוך החבילה?

עבור רוב השימושים במכשיר נייד, גרסת S2 נותנת את האיזון הטוב ביותר, עם זמן חישוב של פחות משבע אלפיות שנייה ודיוק גבוה משמעותית מ־S0. לגרסת B כדאי לפנות רק אם יש צורך בדיוק מרבי והאפליקציה רצה על מכשירים חזקים יחסית.

איך מריצים

המודלים האלה שמורים כקובצי Core ML, מה שאומר שאתם מריצים אותם ישירות על גבי חומרת אפל, באייפון, אייפד או מק, תוך שימוש ב־Neural Engine המקומי. כל חבילת הקבצים שוקלת 762 מגה בייט וכוללת את כל הווריאציות, החל מ־S0 הקטנטן שדורש כ־54 מיליון פרמטרים בלבד לשני המקודדים יחד, ועד לגרסאות ה־B שדורשות סביב 150 מיליון פרמטרים.

אם המוצר שלכם פונה למשתמשי אנדרואיד, שרתי לינוקס או דפדפן, אין לכם מה לחפש כאן ועדיף להישאר עם משקלי PyTorch או לפנות ל־API חיצוני. למי שבונה אפליקציה ייעודית ל־iOS או ל־macOS, אפל מספקת אפליקציית דוגמה בקוד פתוח בגיטהאב שלה שבה אפשר לחבר את הקבצים האלה ישירות.

pip install -U huggingface_hub
hf download apple/coreml-mobileclip

הקבצים

28 קבצים במאגר, 762 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other, ואפל לא מפרטת בעמוד המודל את תנאי השימוש המשפטיים המלאים. לפני שמשלבים את הקבצים באפליקציה מסחרית בחנות האפליקציות, חובה להיכנס למאגר הגיטהאב הרשמי של הפרויקט ולקרוא את הרישיון המצורף שם, כדי לוודא שאין הגבלות על הפצה מסחרית.

הרישיון המלא בעמוד המודל ↗