CLIP-ViT-L-14-DataComp.XL-s13B-b90K
קוד פתוחlaionmit2023-04-26
יש כאן גם סקירה על LAION עצמו.
הגרסה הזו אומנה על 1.4 מיליארד דוגמאות ממאגר DataComp ומגיעה לדיוק של 79.2 אחוז במיון תמונות ללא אימון מוקדם. בחירה טובה לחיפוש תמונות לפי טקסט כשרוצים ביצועים חזקים בקוד פתוח.
- 77טוקנים בהקשר
- 3.2 GBמשקל הקבצים
- 52,432הורדות בחודש
- 127לייקים
מה זה
מדובר במודל ראייה ושפה שמחבר בין תמונות לטקסט חופשי, ומבוסס על ארכיטקטורת ViT-L-14 שנבנתה בעזרת ספריית open_clip. הוא אומן על אשכול השרתים של stability.ai תוך שימוש במאגר הענק של DataComp, שמכיל 1.4 מיליארד דוגמאות שנאספו מהרשת הפתוחה.
בבדיקות מול ImageNet-1k הוא מציג תוצאה של 79.2 אחוז בדיוק top-1 במשימת סיווג zero-shot. זה אומר שבמקום לאמן מודל סיווג ייעודי מראש, אתם יכולים לתת לו טקסטים של קטגוריות והוא יזהה את התמונה הנכונה בדיוק גבוה מאוד ביחס למודלים מקבילים בגודל הזה. בנוסף, הוא נבחן על חבילה של 38 מאגרי נתונים שונים כדי לוודא יציבות.
מתאים ל
- חיפוש תמונות לפי טקסט
מאחזר תמונות לפי תיאור חופשי בזכות יכולת ההתאמה בין טקסט לראייה.
- סיווג תמונות ללא אימון
ממיין קבצים לקטגוריות מוגדרות מראש בלי צורך להכשיר מודל ייעודי.
- הנחיית מחוללי תמונות
משמש כבקר איכות שמדרג ומכוון תוצאות של מודלי יצירה גרפית.
איפה זה נופל
היוצרים מדגישים שהמודל פותח לצורכי מחקר ולא למוצר מוגמר, בגלל תנודתיות גבוהה בביצועים כשמשנים את רשימת הקטגוריות. דאטה האימון נאסף מהאינטרנט ללא סינון ידני מלא, ויכול לכלול תכנים פוגעניים או מוטים. בנוסף, היוצרים אוסרים במפורש שימוש במודל לזיהוי פנים או למעקב, וממליצים לבצע בדיקות פנימיות מעמיקות לפני כל שילוב במערכת פעילה.
שאלות
נפוצות
כמה זיכרון כרטיס מסך צריך כדי להריץ אותו?
המודל שוקל 3.2 גיגה בייט בפורמט float32. כרטיס מסך עם שמונה גיגה זיכרון יספיק לעבודה שוטפת ולשליפת וקטורים במהירות.
האם הוא מתאים לחיפוש לפי פסקאות ארוכות?
לא. חלון ההקשר שלו מוגבל ל־77 טוקנים, ולכן הוא מיועד למילים בודדות, תגיות או משפטים קצרים בלבד.
איך מריצים
המשקלים תופסים 3.2 גיגה בייט בדיוק float32 על פני 12 קבצים, כך שכל כרטיס מסך מודרני עם שמונה גיגה זיכרון יחזיק אותו בקלות גם בלי קוונטיזציה. הטעינה נעשית דרך ספריית open_clip של קהילת mlfoundations, והרצה מקומית על שרת ענן פשוט תהיה זולה ופשוטה להגדרה.
מגבלת הקלט של הטקסט עומדת על 77 טוקנים בלבד. אם אתם צריכים לאנדקס פסקאות ארוכות או לבצע חיפושים מורכבים במיוחד, תצטרכו לתמצת את השאילתות לפני שהן נכנסות למודל.
pip install -U huggingface_hub hf download laion/CLIP-ViT-L-14-DataComp.XL-s13B-b90K
הקבצים
12 קבצים במאגר, 3.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו בתוכנה סגורה, בתנאי שמשאירים את הודעת זכויות היוצרים המקורית וכתב הוויתור.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש