GPT
הוספת כלי
L

lightglue_superpoint

קוד פתוח

ETH-CVGother2025-02-20

  • transformers
  • safetensors
  • lightglue
  • keypoint-matching
  • keypoint-detection

התאמת נקודות עניין בין תמונות בזמן אמת בלי לסחוב משקולת של גיגה-בייטים. הפתרון הזה מחליף את SuperGlue ומספק חישובי זווית ומיקום בדיוק גבוה ובעלות חישובית נמוכה.

  • 14Mפרמטרים
  • 52.5 MBמשקל הקבצים
  • 27,465הורדות בחודש
  • 67לייקים

מה זה

רשת נוירונים קומפקטית של 14 מיליון פרמטרים שמיועדת להתאמת פיצ'רים מקומיים בין זוגות תמונות, בשילוב עם מזהה הנקודות SuperPoint. בניגוד לשיטות קודמות שמשקיעות את אותה עוצמת חישוב בכל פיקסל, כאן יש מנגנון שמזהה לבד את רמת הקושי של הזוג. אם התמונות דומות ויש ביניהן חפיפה ברורה, הריצה יכולה לעצור בשכבה מוקדמת, ונקודות בלי התאמה נזרקות מיד מהמשך התהליך.

התוצאה היא קצב עבודה שמגיע לכ־22 פריימים לשנייה, כלומר 44 מילי-שניות לזוג תמונות על מעבד גרפי מודרני. האימון הראשוני נעשה על מיליון תמונות עם טרנספורמציות סינתטיות, ואחריו כוונון עדין על מאגר MegaDepth שמכיל צילומים של אתרי תיירות עם עומק וזוויות צילום אמיתיות, כך שהוא יודע לפצות על שינויי תאורה ופרספקטיבה חדים.

מתאים ל

  • מיקום ומיפוי בזמן אמת

    מעקב תנועה במערכות SLAM עבור רחפנים ורובוטים, תודות לזמן ריצה של 44 מילי-שניות לזוג.

  • שחזור תלת-ממדי מתמונות

    התאמת תמונות במערכות SfM שצריכות לחבר מאות זוויות של מבנה למודל אחד רציף.

  • חישוב הומוגרפיה והדבקה

    חיבור פנורמות ויישור תמונות שצולמו מזוויות שונות בסביבות פנים וחוץ מאתגרות.

איפה זה נופל

היכולת שלו מוגבלת אך ורק להתאמת נקודות גיאומטריות בין שתי תמונות, והוא לא מיועד למשימות של זיהוי אובייקטים, סגמנטציה או סיווג כללי. הוא גם תלוי לחלוטין באיכות נקודות העניין שמספק לו SuperPoint. אם התמונה חלקה, חשוכה לגמרי או חסרת טקסטורה, לא יהיו נקודות להתאים והביצועים ירדו.

שאלות
נפוצות

אפשר להשתמש בו במוצר מסחרי?

לא. הרישיון המוגדר במודל מגביל את השימוש למחקר לא מסחרי או לארגונים ללא כוונת רווח, בעיקר בגלל התלות ברכיב של SuperPoint.

כמה כוח חישוב צריך כדי להגיע לקצב המוצהר?

הוא נבדק על מעבד גרפי מודרני שבו הוא מגיע לכ־22 פריימים בשנייה. בגלל גודלו הזעיר, 14 מיליון פרמטרים, הוא רץ בלי בעיה גם על חומרה גרפית פשוטה יחסית.

איך מריצים

המשקל הכולל של הקבצים עומד על 52.5 מגה-בייט בלבד בפורמט float32, כך שלא צריך שרת מפלצתי או אשכול כרטיסים. כל כרטיס מסך מודרני סטנדרטי יריץ אותו בקלות בזמן אמת, ואפשר לטעון אותו ישירות דרך ספריית transformers הרגילה של פייתון.

אין שום סיבה להשתמש ב־API מרוחק או לשלם לשירות ענן לפי קריאה עבור מודל כזה. זמן הרשת והתקשורת יעלה בהרבה על 44 המילי-שניות שלוקח לו לרוץ מקומית, מה שיהרוס את היתרון ביישומי זמן אמת כמו רובוטיקה או מעקב מצלמה.

from transformers import pipeline

pipe = pipeline("keypoint-detection", model="ETH-CVG/lightglue_superpoint")
print(pipe("שלום"))

הקבצים

5 קבצים במאגר, 52.5 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגבל למחקר אקדמי ולשימוש ללא כוונת רווח בלבד. ההגבלה נובעת ישירות מהשימוש במודל SuperPoint שעליו הוא מתבסס. מי שמתכנן להטמיע את המשקלים האלה במוצר מסחרי או באפליקציה למכירה לא יכול לעשות זאת באופן חוקי תחת התנאים האלה.

הרישיון המלא בעמוד המודל ↗