phixtral-chat

מה זה

אתם כותבים הודעה בתיבת הטקסט ומקבלים מענה שמתחיל לזרום מיד, אות אחרי אות, בזכות מנגנון הזרמת טקסט של הממשק. המערכת מבוססת על Gradio בעיצוב כתום רך וכוללת דוגמאות מובנות להרצה מהירה כדי שלא תצטרכו להמציא שאילתות ראשונות בעצמכם.

מתחת למכסה המנוע הקוד טוען מודל מסוג phixtral-2x2_8 לצד שימוש ב־phi-2 של מיקרוסופט דרך ספריית transformers. מדובר בשילוב מודלים שמנסה לתת מענה שפתי מורכב יחסית לגודל שלו, תוך ניהול תהליכי ייצור טקסט עם חוט נפרד וקריטריוני עצירה מוגדרים.

מתאים ל

• בדיקת יכולות המודל

  ניסיון מעשי עם השילוב של phixtral בשיחה רגילה, כדי לראות איך הוא מגיב לפני שמורידים משקלים.

• העתקת שלד לקוד עצמאי

  שימוש בקוד של app.py כבסיס לבניית ממשק שיחה מוזרם משלכם עם Gradio ו־Transformers.

• ניסויי שפה קצרים

  הרצת שאלות טקסטואליות פשוטות דרך הדוגמאות המוכנות כדי לבחון איכות ניסוח והבנה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה בכלל לא עובדת כרגע, היא מדווחת על שגיאת זמן ריצה בעלייה ולא תענה לשום שאילתה. גם כשהיא תתוקן, מאיץ t4-small מוגבל מאוד בכוח חישוב, וטעינה של מודלים מרובי משקלים כמו phixtral תזחל או תקרוס תחת שיחות ארוכות. מעבר לזה, הממשק מקבל רק טקסט נקי, בלי העלאת קבצים או תמיכה בתמונות.

איך משתמשים

נכנסים לעמוד, בוחרים דוגמה מוכנה מראש או מקלידים פרומפט משלכם בתיבת השיחה, ולוחצים על שליחה. אין צורך לפתוח חשבון, להתחבר או להזין כרטיס אשראי כדי לנסות. הכל פתוח לשימוש חופשי ישירות דרך הדפדפן.

הקוד אמור לרוץ על מעבד גרפי t4-small, חומרה צנועה שיוצרת צווארי בקבוק וזמני תגובה איטיים תחת עומס. בפועל המרחב נמצא כרגע במצב של תקלת הרצה, כך שאי אפשר להפעיל אותו כרגע אלא אם תעתיקו את הקוד ותריצו אותו בחומרה משלכם.

הרישיון

הפרויקט מפורסם תחת רישיון MIT. מותר לכם להעתיק את הקוד, לשנות אותו, להריץ אותו אצלכם ולהשתמש בו אפילו לצרכים מסחריים בלי לשלם תמלוגים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗