חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
K

KnowledgeMesh

רץ בדפדפן

build-small-hackathonmit2026-06-08

  • gradio

מרכז ידע שמחלץ תוכן ממאמרים, מחקרים וקבצים, ומאפשר לתשאל אותם בצ'אט. מתאים למי שרוצה לבנות מאגר חיפוש סביב טקסטים טכניים.

  • —הורדות בחודש
  • 55לייקים

מה זה

אתם מזינים קישורים למאמרי Medium דרך Freedium, מזהים או קישורים של arXiv, או מעלים קובצי PDF ישירות. בצד השני אתם מקבלים תשובות מבוססות מקורות לשאלות שלכם, כשהמערכת שולפת את המידע הרלוונטי מהטקסטים שהוזנו.

מאחורי הקלעים רץ שילוב של כמה מודלים. המודל Qwen2-VL-2B-Instruct משמש לפענוח ולחילוץ תוכן, כולל התייחסות לתמונות וכיתובים ממאמרים. את יצירת הווקטורים מבצע המודל llama-nemotron-colembed-vl-3b-v2 של אנבידיה, והמידע נשמר בבסיס נתונים וקטורי מסוג Qdrant. הניסוח הסופי של התשובה נעשה דרך מודל השיחה NVIDIA-Nemotron-Nano-9B-v2 בעזרת קריאה ל־API של אנבידיה.

מתאים ל

  • תשאול מאמרי מחקר מ־arXiv

    מזינים מזהה מאמר, מחלצים את הטקסט ומקבלים תשובות לשאלות מתוך המחקר.

  • חילוץ ואינדוקס מ־Medium

    מטעינים קישורי מאמרים דרך Freedium כולל תמונות, ומחפשים בתוכם מידע ממוקד.

  • ניתוח מסמכי PDF

    מעלים קבצים מקומיים, מפרקים אותם למקטעים ומנהלים צ'אט על בסיס הנתונים שנשמרו.

איפה זה נופל

ההדגמה הנוכחית אינה פועלת באופן מיידי בגלל סטטוס ההשהיה. בנוסף, חילוץ המידע מוגבל אך ורק לשלושת המקורות שנתמכים בקוד: Medium, arXiv ו־PDF, ללא תמיכה באתרים כלליים. כדי לקבל תשובות אתם תלויים לחלוטין במפתח API פעיל של אנבידיה ובשרת Qdrant מרוחק, כך ששום דבר לא עובד בלעדיהם.

שאלות
נפוצות

האם השימוש באפליקציה בחינם?

הקוד עצמו פתוח וחופשי לשימוש תחת רישיון MIT. יחד עם זאת, ההרצה דורשת מפתח API של אנבידיה וגישה לשרת Qdrant, שירותים שעשויים לדרוש תשלום או הרשמה נפרדת לפי היקף השימוש שלכם.

מה קורה עם הקבצים והמידע שאני מעלה?

הטקסטים והקבצים עוברים עיבוד מקומי ונשלחים לשרת ה־Qdrant שאת כתובתו הגדרתם בהגדרות. בנוסף, קטעי המידע שנשלפים לשאילתות מועברים ל־API של אנבידיה כדי לנסח את התשובה הסופית בצ'אט.

האם אפשר להריץ את הכלי הזה במחשב המקומי?

כן, אפשר להוריד את הקוד, להתקין את התלויות ולהריץ אותו מקומית בסביבת פייתון. בריצה מקומית על מחשבי מק עם Apple Silicon המערכת מוגדרת לעבוד על המעבד, לצד חיבור ל־Qdrant מקומי.

למה אי אפשר פשוט לשאול את המודל ישירות?

הכלי משלב מנוע חיפוש וקטורי עם מודל שפה, מה שמאפשר לו לגשת למידע שלא נמצא באימון המקורי. במקום להסתמך על הזיכרון של המודל, הוא שולף את המידע מתוך ה־PDF או המאמר שהזנתם ומבסס עליו את התשובה.

איך משתמשים

כרגע האפליקציה במצב מושהה בהוסטינג הציבורי, כך שאי אפשר להריץ אותה ישירות בדפדפן בלי להרים אותה מחדש או לשכפל את הקוד. כדי להפעיל אותה צריך להגדיר מפתחות גישה ל־API של אנבידיה ולמסד Qdrant חיצוני. הממשק מחולק ללשוניות קליטת מידע ושליפה, וצריך להקליד ידנית את אותו שם אוסף בשתיהן כי אין ביניהן סנכרון אוטומטי.

הרישיון

הפרויקט מפורסם תחת רישיון MIT. הרישיון מאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. התוכן שאתם מעלים מועבר למופע ה־Qdrant שלכם ול־API של אנבידיה לצורך יצירת התשובות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗