Kosmos-2
רץ בדפדפןydshiehרישיון לא דווח2023-08-20
העלאת תמונה וקבלת תיאור טקסטואלי שמצביע ישירות על עצמים בתוכה. הכלי מתאים לחוקרים ולמפתחים שרוצים לבדוק יכולות של ראייה ממוחשבת ושפה.
- —הורדות בחודש
- 424לייקים
מה זה
אתם מעלים תמונה לתוך הממשק ובוחרים אם לקבל תיאור קצר או מפורט. בצד הפלט מקבלים תמונה מעודכנת עם סימונים ויזואליים וטקסט שמדגיש את הישויות שזוהו, כולל קישור בין המילים למיקום שלהן בפריים.
מאחורי הקלעים רץ המודל microsoft/kosmos-2-patch14-224 באמצעות ספריות transformers ו־torch. המודל מחבר בין הבנת תמונה לטקסט ויודע לחלץ מיקומים של אובייקטים לפי הקוד שמפעיל מניפולציות ב־cv2. יש בממשק גם דוגמאות מוכנות מראש למי שרוצה לראות את התוצאה בלי להעלות קובץ משלו.
מתאים ל
- זיהוי ומיפוי עצמים
הפקת תיאור לתמונה שכולל קישור בין מילים לאזורים ספציפיים שנמצאו בה.
- בדיקת תיאור מפורט
השוואה בין ניתוח תמונה תמציתי לבין פירוט רחב של כל מה שמופיע בה.
- הערכת יכולות המודל
בחינת הביצועים של Kosmos 2 ישירות דרך הדפדפן לפני שמורידים אותו לפרויקט.
איפה זה נופל
ההדגמה הזאת פשוט לא עובדת כרגע בגלל תקלת הריצה בשרת. גם אם היא תתוקן, מדובר במודל שרץ על תמונות בגודל בסיסי של 224 פיקסלים, כך שפרטים קטנים או מורכבים יילכו לאיבוד. בנוסף אין כאן תמיכה בעברית, כל התיאורים והזיהויים מתבצעים באנגלית בלבד.
שאלות
נפוצות
למה מופיעה שגיאה כשאני מנסה להריץ?
האפליקציה נמצאת במצב של תקלת ריצה בשרת של Hugging Face. הקוד כרגע קורס, ולכן הממשק לא מגיב עד שמי שהעלה אותו יבצע תיקון.
האם השירות עולה כסף?
לא, הגישה להדגמה הזאת פתוחה בחינם בדפדפן. אין כאן מדרגות תשלום או צורך להכניס כרטיס אשראי.
אפשר להריץ את המערכת על המחשב שלי?
כן, המודל עצמו ציבורי וזמין להורדה תחת השם של מיקרוסופט. אפשר להוריד גם את הקובץ app.py ולהרים אותו מקומית אם יש לכם מעבד גרפי מתאים.
האם הכלי תומך בתמונות עם טקסט בעברית?
המודל מאומן על אנגלית ומחזיר תוצאות באנגלית. הוא לא יודע לקרוא או לייצר תוויות בעברית באופן אמין.
איך משתמשים
לוחצים על כפתור ההרצה אחרי שמעלים קובץ ובוחרים באחת משתי אפשרויות התיאור. הממשק מוגדר לעבוד בתור עם gradio queue על חומרת t4-medium.
הבעיה המרכזית היא שכרגע העמוד מדווח על שגיאת ריצה, runtime error. זה אומר שאי אפשר להריץ עליו שום דבר בדפדפן עד שהיוצר יתקן את הקוד או את התלויות.
הרישיון
הרישיון של המרחב לא דווח במאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד של ההדגמה, וכדאי להניח שהיא מיועדת לבדיקה אישית בלבד. אם אתם מעלים תמונות פרטיות, קחו בחשבון שהן מעובדות על גבי השרת.