draw_to_search
רץ בדפדפןosansevieroרישיון לא דווח2022-03-02
מציירים סקיצה על המסך ומחפשים תמונות מתוך סרטים שתואמות לה. מתאים למי שרוצה לבדוק חיפוש ויזואלי מהיר לפי שרבוט.
- —הורדות בחודש
- 51לייקים
מה זה
הרעיון פשוט: אתם מציירים משהו ישירות בלוח הציור של הממשק, ומקבלים תמונות מסרטים שמתאימות למה ששרבטתם, יחד עם שלוש תוויות סיווג מובילות.
מתחת למכסה המנוע רץ המודל openai/clip-vit-base-patch32 יחד עם רשת נוירונים קונבולוציונית קטנה, CNN, לפי מה שמתואר בקוד. המודל של CLIP מקשר בין מאפיינים חזותיים לייצוגי תוכן, וכאן הוא משתמש בייצוג כדי לשלוף מתוך מאגר של תמונות סרטים את הפריימים שהכי קרובים לציור שלכם.
הממשק בנוי להחזיר שלוש תוויות עם ניקוד התאמה ועוד שלוש תמונות שנשלפות מקבצים מקומיים. מעבר לזה אין פה הגדרות מורכבות או אפשרויות סינון, פשוט שרבוט שמיתרגם לשליפת תוצאות ישירה.
מתאים ל
- חיפוש סצנות לפי שרבוט
מציירים חפץ או מבנה ומקבלים פריימים דומים מתוך סרטים.
- בדיקת יכולות CLIP
רואים איך מודל ויזואלי של טקסט ותמונה מתמודד עם סקיצה ידנית.
- סיווג מהיר של שרבוטים
בודקים את שלוש התוויות שהמערכת משייכת לקווי הציור שלכם.
איפה זה נופל
הבעיה המרכזית היא שהחלל נמצא במצב של שגיאת ריצה, כך שהוא פשוט לא עובד כרגע בדפדפן. בנוסף, שרבוטים ידניים פשוטים מאוד רחוקים מפריימים אמיתיים של סרטים, ולכן מודל כזה עלול להחזיר ניחושים לא קשורים אם הציור מופשט מדי או לא ברור.
שאלות
נפוצות
האם השימוש עולה כסף?
הגישה פתוחה וחינמית לחלוטין דרך הדפדפן. לא צריך להזין פרטי תשלום ולא לקנות חבילות שימוש.
למה האפליקציה לא מגיבה כרגע?
השרת מדווח על שגיאת ריצה, RUNTIME_ERROR, בעליית הקוד. עד שהיוצר יעדכן את הקבצים או יתקן את התלויות, הממשק אינו פעיל ברשת.
אפשר להריץ את הקוד הזה במחשב האישי?
כן, הקוד מבוסס על ספריות פתוחות כמו Gradio, PyTorch ו־Transformers של Hugging Face. אפשר למשוך את הקובץ app.py ולהריץ אותו בסביבת פייתון מקומית יחד עם המודל של CLIP.
איך משתמשים
בפועל נכנסים לדפדפן ומציירים על הקנבס של Gradio, בלי צורך בהרשמה או התחברות. הריצה מוגדרת על מעבד בסיסי, מה שאומר שהחישוב של מודל CLIP ורשת ה־CNN נעשה לאט יותר מאשר על גבי מאיץ גרפי, אבל כרגע הדף בכלל מדווח על שגיאת ריצה ולכן לא ניתן להריץ אותו אונליין עד שיתוקן.
הרישיון
הרישיון של הפרויקט לא דווח בקוד או בתיעוד. במצב כזה אין אישור שימוש מסודר בקוד או בתוצרים, ואי אפשר לדעת בוודאות מה הזכויות על מאגר תמונות הסרטים שמוצג שם.