MInference

מה זה

הממשק מציג צ'אט מבוסס טקסט שבו כותבים הודעה ומקבלים תשובה מוזרמת בזמן אמת, כולל דוגמאות מובנות לבדיקה מהירה ושליטה בפרמטרים דרך סליידרים. מתחת למנוע רצים מודלים מוכרים בהקשרים רחבים, כמו Llama 3 וגרסאות מורחבות שלו, Phi 3 mini, מודל Yi או Qwen.

במקום לחשב מחדש את כל תשומת הלב עבור כל מילה בהקשר ארוך, המערכת מזהה דפוסי דלילות ידועים מראש ומבצעת חישוב מקורב ומהיר בשלב קריאת הפרומפט. השיטה משלבת קרנלים מותאמים אישית כדי לחסוך עומס חישובי, והיא מכוונת בעיקר לצמצום זמני ההמתנה בהקשרים שמגיעים עד למיליון תווים.

מתאים ל

• בדיקת פרומפטים ארוכים

  שליחת טקסטים מורכבים לבחינת מהירות התגובה הראשונית של המודלים הנתמכים.

• בחינת איכות תשובות

  בדיקה האם קירוב תשומת הלב פוגע בדיוק התשובות לשאלות ספציפיות.

• התנסות במודלי קוד פתוח

  הרצה ישירה בדפדפן של גרסאות Llama ו־Phi בלי להגדיר שרת מקומי.

איפה זה נופל

ההדגמה מציגה צ'אט פשוט ולא ממחישה באופן גרפי את מנגנון הדלילות או את נתוני המהירות בפועל. מעבר לזה, המודל מבצע קירוב חישובי כדי לרוץ מהר, ולכן במשימות אחזור עדינות במיוחד, שבהן כל מילה חשובה, ייתכנו אי דיוקים בהשוואה להרצה מלאה וסטנדרטית.

איך משתמשים

נכנסים לעמוד, בוחרים דוגמה או מקלידים פרומפט לתוך תיבת השיחה, ומשגרים. מאחר שהאפליקציה רצה על חומרת zero a10g שמקצה משאבים לפי דרישה, ייתכן שתצטרכו להמתין מעט להתעוררות החומרה לפני שהתשובה מתחילה להופיע. אין צורך בהתחברות או בהגדרת מפתח אישי כדי להתנסות.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, המאפשר שימוש חופשי בקוד ובטכניקה גם לצרכים מסחריים. אין הצהרה לגבי שמירת הפרומפטים שמוזנים בממשק, ולכן לא מומלץ להעלות לשם מידע רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗