חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
P

Plonk

רץ בדפדפן

nicolas-dufourmit2024-12-10

  • streamlit

הכלי מנחש איפה בעולם צולמה תמונה שתעלו אליו. הוא מתאים למי שחוקר גאוגרפיה חזותית או רוצה לבדוק יכולות איכון בלי לכתוב שורת קוד.

  • —הורדות בחודש
  • 41לייקים

מה זה

אתם מעלים תצלום או בוחרים דוגמה מקומית מתוך תיקיית ההדגמות, ובוחרים מודל מתוך רשימה שנשענת על מודלים של ראייה ממוחשבת כמו DINOv2, StreetCLIP או SigLIP. המערכת מריצה תהליך שנקרא PLONK, שמשתמש במודלים האלה יחד עם נתונים מאוספי נתונים דוגמת osv5m כדי להעריך מיקום גלובלי.

התוצאה מוצגת על גבי מפה אינטראקטיבית שנבנית ב־plotly. הממשק מציג נקודות אפשריות בעולם, ומסמן באדום דגימה אחת עם guidance scale של 2.0 בתור הניחוש המוביל של המודל.

מתאים ל

  • איכון גאוגרפי של תמונות

    העלאת צילום נוף כדי לקבל הערכה באיזה אזור בעולם הוא צולם על גבי מפה.

  • השוואת מודלי ראייה

    בדיקת ההבדלים בניחוש המיקום בין DINOv2, StreetCLIP ומודלים נוספים.

  • בדיקת מחקר Geolocation

    התנסות מעשית בשיטה הגנרטיבית של מאמר PLONK ישירות מהדפדפן.

איפה זה נופל

ההדגמה בדפדפן היא גרסה פשוטה ומצומצמת של המחקר המקורי. בגלל הריצה על מעבד רגיל, הביצועים איטיים בהרבה ממה שאפשר להפיק על חומרת שרת ייעודית. מעבר לכך, המודל מספק ניחושים הסתברותיים ולא קואורדינטה מדויקת לחלוטין, כך שהוא עלול לזרוק אתכם ליבשת הלא נכונה בתמונות חסרות רמזים גאוגרפיים בולטים.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

לא, הגישה דרך הדפדפן היא חינמית לחלוטין. אין צורך במנוי ואין דרישה להזין פרטי תשלום. כל המשאבים מוקצים במסגרת הפרויקט הציבורי.

כמה זמן לוקח לקבל תוצאה?

החישוב אורך בין חצי דקה לכמה דקות לתמונה בודדת. המרחב רץ על מעבד בסיסי ללא כרטיס מסך, מה שיוצר צוואר בקבוק בזמן עיבוד הצעדים של המודל.

האם אפשר להריץ את הקוד באופן עצמאי במחשב?

כן, הקוד פתוח תחת רישיון MIT וזמין במאגר יחד עם קובץ app.py. אם יש לכם מחשב עם כרטיס מסך מתאים, ההרצה המקומית תהיה מהירה בהרבה מהגרסה הזמינה בדפדפן.

במה שונה ההדגמה הזו מהמחקר המלא?

יוצרי הפרויקט מציינים במפורש שמדובר בגרסה מופשטת ומצומצמת של השיטה המופיעה במאמר. היא נועדה להמחשה בלבד, ולכן היא פחות גמישה או מדויקת מהמימוש המלא של החוקרים.

איך משתמשים

גולשים לעמוד ב־streamlit, בוחרים מודל וקובץ תמונה, והעיבוד מתחיל. מכיוון שהדף רץ על חומרת cpu-basic בסיסית של הוגינג פייס ובלי מאיץ גרפי, החישוב של עשרות צעדי הדגימה לוקח זמן ולא קורה מיידית. אין צורך לפתוח חשבון או לשלם כדי להריץ בדיקה.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי ושינוי של הקוד. התמונות שאתם מעלים נשלחות לעיבוד בשרת שמארח את האפליקציה, ולכן לא מומלץ להעלות לשם תמונות פרטיות או רגישות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗