encoder-free-vlm

מה זה

בדף הזה קוראים מאמר מחקרי אינטראקטיבי שמסביר תהליך אימון של מודל ראייה ושפה שמוותר על רכיב הראייה המסורתי, ומציג תוצאות עבור מודלים שונים כמו Llama וסדרת SmolLM. במקום ממשק קלט שבו אתם מעלים תמונה ומקבלים טקסט, הממשק מציג טקסט מדעי, נוסחאות, ותרשימים שמסבירים את הארכיטקטורה.

התוכן עצמו מבוסס על שילוב מודלים דוגמת SmolLM3-3B ומשפחת Llama-3.1 ו־3.2 כדי להוכיח היתכנות של אימון מודל רב מודלי בתקציב נמוך. הממשק כולל תבנית להצגת גרפים, הפניות ביבליוגרפיות ואפשרות לעיון בנתונים שהובילו לתוצאות הניסוי.

מתאים ל

• לימוד ארכיטקטורת VLM

  הבנת שיטות לבניית מודלי שפה וראייה ללא שימוש באנקודר ייעודי.

• הערכת עלויות אימון

  בחינת המתודולוגיה והתקציב הנדרש להרצת אימון מקביל במאה דולר.

• עיון במחקר SmolLM ו־Llama

  קריאת תוצאות השוואתיות של מודלי הבסיס שהוזכרו בניסוי.

איפה זה נופל

ההדגמה הזו לא מאפשרת להזין קלטים משלכם ולא מריצה אינפרנס חי של המודלים המקושרים. היא מציגה מאמר וממצאים בלבד, והתיאור בעמוד מפנה בחלקו לתבנית תוכנה של מאמרים ולא מפרט את מגבלות הדיוק של המודל עצמו. אל תצפו למצוא פה שרת אימון שפועל במאה דולר בלחיצת כפתור, אלא בעיקר תיעוד ומתודולוגיה.

איך משתמשים

אין כאן כפתור הרצה של בדיקת תמונות בזמן אמת, אלא דפדוף במאמר מחקרי מובנה. אתם נכנסים ישירות בדפדפן וקוראים את הניתוח, בוחנים את הדיאגרמות ועוברים בין פרקי המאמר ללא צורך בהרשמה או התחברות. הדף רץ על חומרת מעבד בסיסית, מה שמספיק בהחלט לטעינת אתר סטטי ומסמכים, אך לא מאפשר הרצה כבדה של מודלי השפה הגדולים שמוזכרים בו. המעבר בין החלקים מתבצע מיד, וכל מה שצריך זה לגלול ולקרוא.

הרישיון

הרישיון של המרחב עצמו לא דווח רשמית בפרטי המערכת, אך תבנית המאמר מציינת רישיון CC BY 4.0. המשמעות היא שקשה להסתמך על חופש השימוש בקוד המקורי ללא בדיקת תנאי השימוש של יוצרי המודלים והמחקר.

הרישיון המלא ב־Hugging Face ↗