GPT
M

mixtral-46.7b-chat

רץ בדפדפן

ehristoforumit2023-12-11

  • gradio

ממשק שיחה ישיר שמתחבר למודל השפה הפתוח Mixtral 8x7B. מתאים למי שרוצה לבדוק את התשובות שלו בטקסט חופשי בלי להגדיר שרתים או לשלם על API.

  • הורדות בחודש
  • 439לייקים

מה זה

כותבים שאלה או הנחיה בתיבת הטקסט ומקבלים תשובת צ'אט רציפה. אפשר לשחק עם ארבעה סליידרים של הגדרות ריצה כדי להשפיע על אורך ואופי הפלט, ויש כפתור מובנה להעתקת התוכן שנוצר. הדוגמה שמגיעה עם הממשק מבקשת מסלול טיול של שבוע ביפן עם המלצות על מקומות ואוכל מקומי, מה שמראה שהכלי מכוון למשימות כתיבה ותכנון כלליות.

מאחורי הקלעים הקוד לא מריץ את המשקלים הכבדים של המודל אצלו. הוא משתמש ב־InferenceClient כדי לפנות למודלים mistralai/Mixtral-8x7B-v0.1 וגרסת ה־Instruct שלו שיושבים בתשתית של Hugging Face. מדובר במבנה של שמונה מומחים שמפעיל רק חלק מהפרמטרים בכל טוקן, כך שמקבלים ביצועים של מודל ענק במענה ממוקד.

מתאים ל

  • בדיקת תשובות מהירה

    מריצים שאלות מורכבות ובודקים איך מודל ה־Mixtral מתמודד איתן לפני שמחליטים לשלב אותו בפרויקט.

  • ניסוח ותכנון רעיונות

    מבקשים רעיונות למסלולים, טיוטות ראשוניות לתוכן או סיעור מוחות מהיר באמצעות פרומפט ישיר.

  • כיוונון פרמטרים בשיחה

    משנים את הסליידרים בממשק כדי לראות איך שינויי הגדרות משפיעים על יצירתיות ואורך הפלט.

איפה זה נופל

זה ממשק טקסט בלבד. אי אפשר להעלות קבצים, אין תמיכה בתמונות ואין חיבור לרשת כדי לשלוף מידע עדכני. אם אתם בונים על עברית, המודל הזה לא אומן במקור בצורה מעמיקה על השפה, אז הוא עלול לפספס ניסוחים או לענות באנגלית. בנוסף, מי שבונה על המרחב הזה כבסיס לפיתוח צריך לזכור שהוא תלוי לחלוטין בזמינות של שרתי הקצה החיצוניים.

שאלות
נפוצות

האם השימוש בממשק עולה כסף?

לא. השימוש דרך הדפדפן חינמי לחלוטין ולא דורש הזנת אמצעי תשלום או מפתח API אישי.

האם המודל רץ ישירות על המחשב שלי?

לא. הכל עובד בענן של Hugging Face דרך ממשק Gradio, כך שאין צורך בכרטיס מסך חזק כדי להפעיל אותו.

אפשר להעלות מסמכים או תמונות לצ'אט?

לא, הממשק כולל תיבת טקסט בלבד. הוא לא תומך בקבצי PDF, תמונות או שום סוג קובץ אחר.

איך המהירות אם החומרה היא מעבד בסיסי בלבד?

המעבד הבסיסי מריץ רק את דף האינטרנט עצמו. החישובים הכבדים נעשים דרך שרתי API חיצוניים, כך שהמהירות נקבעת לפי העומס על השרתים האלה.

איך משתמשים

נכנסים לדפדפן, מקלידים הודעה בתיבה ולוחצים אנטר או שולחים. הממשק פתוח לשימוש חופשי ולא דורש הרשמה או חיבור לחשבון. החומרה שהוגדרה היא מעבד בסיסי, אבל בגלל שהקוד רק פונה לשרת חיצוני דרך ה־API, המעבד המקומי לא באמת מעכב את התשובה. הזמן שתחכו תלוי בעומס על השרתים של Hugging Face באותו רגע.

הרישיון

הקוד של הממשק מפורסם תחת רישיון MIT, שמאפשר להעתיק, לשנות ולהשתמש בו כמעט לכל מטרה. הטקסטים שאתם מזינים נשלחים לשירותי ההרצה של Hugging Face, ולכן המידע כפוף למדיניות של השרתים האלה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗