phi-4-mini

מה זה

אתם כותבים הודעת טקסט בתיבת הצ'אט ומקבלים מענה ישיר ממודל Phi-4-mini-instruct. הממשק כולל שדה קלט, כפתור שליחה ואפשרות לנקות את השיחה או לייצר תשובה מחדש אם התוצאה לא מתאימה לכם. לצד השיחה מופיעות דוגמאות מוכנות מראש שמאפשרות לטעון פרומפטים בלחיצה אחת, עם חלוקה של ארבע דוגמאות בכל עמוד.

מאחורי הקלעים הדמו לא מריץ את החישוב הכבד בעצמו. הקוד שולח קריאות אל שירות Azure AI Inference באמצעות מפתח גישה, ומשתמש בספריית azure.ai.inference כדי להעביר את היסטוריית השיחה כהודעות מערכת, משתמש ועוזר. בסרגל הצד יש הגדרות מתקדמות שמאפשרות לשלוט בטמפרטורה, בערכי top_p, בהגבלת כמות הטוקנים המקסימלית ובעונשי נוכחות ותדירות לחזרות בטקסט.

מתאים ל

• בדיקת פרומפטים

  כתיבת שאלות והוראות כדי לראות איך המודל מגיב להנחיות שונות.

• כיול פרמטרים

  משחק עם הטמפרטורה והטוקנים כדי לבדוק יצירתיות מול דיוק בתשובות.

• השוואת תשובות

  יצירה חוזרת של טקסט בלחיצה על כפתור Regenerate לבדיקת יציבות המודל.

איפה זה נופל

החיסרון המרכזי והמיידי הוא שהממשק פשוט תקול ולא מגיב. מעבר לזה, מדובר בממשק טקסט בלבד שלא תומך בקבצים, בתמונות או במסמכים. ההדגמה הזאת תלויה לחלוטין בחיבור לשרתי אז'ור, כך שהיא לא נותנת שום אינדיקציה לביצועים, למהירות התגובה או לצריכת המשאבים של המודל כשהוא רץ על חומרה מקומית משלכם.

איך משתמשים

בפועל אתם מקלידים שאלה, בוחרים אם לשנות את הסליידרים בצד ולוחצים על Send. השרת שבו הממשק מאוחסן מוגדר על חומרת cpu-basic בסיסית, אבל הוא משמש רק כמתווך שמפנה את השאלות לענן של אז'ור. כרגע לא תצליחו לקבל מענה כי המרחב נמצא במצב של שגיאת ריצה. עד שהקוד לא יתוקן, אי אפשר לשלוח הודעות.

הרישיון

הקוד של הממשק מפורסם תחת רישיון mit, שמתיר שימוש חופשי כולל שינוי והפצה מסחרית. המידע והשאלות שאתם שולחים מועברים לעיבוד בתשתית הענן של אז'ור, בהתאם לתנאי השימוש של מיקרוסופט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗