GPT
הוספת כלי
M

Mistral-7B-OpenOrca — הדגמה

קוד פתוח

Open-Orcaapache-2.02023-10-02

  • gradio

ממשק שיחה פשוט לבדיקת מודל השפה הפתוח של קבוצת Open-Orca. הוא מתאים למי שרוצה להתנסות בהנחיות טקסט ישירות בדפדפן בלי להוריד משקלים למחשב.

  • 32,768טוקנים בהקשר
  • 13.5 GBמשקל הקבצים
  • —הורדות בחודש
  • 173לייקים

מה זה

הממשק מציע סביבת צ'אט בסיסית. אתם מקלידים שאלה או הנחיה בתיבת הטקסט, ומקבלים תשובה שנוצרת על ידי המודל Mistral-7B-OpenOrca. הקוד מייבא את ספריית openai, מה שמעיד על פנייה לנקודת קצה מרוחקת שמריצה את המודל בפועל ולא טעינה שלו ישירות לזיכרון השרת המקומי.

יש לכם שליטה על פרמטרים טכניים דרך תפריט נפתח. אפשר לשנות שם את מספר הטוקנים המרבי מ־20 עד 2500, להגדיר טמפרטורה בין 0 ל־2, ולכוונן ערכים כמו Top P, Top K, עונש על חזרתיות, ואפילו להגדיר הודעת מערכת משלכם שתכוון את התנהגות המודל.

מתאים ל

  • בדיקת פרומפטים

    שליחת שאלות ומשימות כתיבה כדי לראות איך המודל מגיב להנחיות שונות.

  • כוונון פרמטרי יצירה

    משחק עם טמפרטורה, עונש חזרתיות וכמות טוקנים כדי להבין את השפעתם על הפלט.

  • הגדרת הודעת מערכת

    הזנת system message מותאמת אישית כדי לבדוק ציות להוראות תפקיד.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה מושהית לגמרי ולא מגיבה כרגע. מעבר לזה, אין בממשק דוגמאות מובנות להרצה, כך שאתם צריכים להביא את הפרומפטים בעצמכם. הרצה של מודל כזה דרך סביבת מעבד בסיסית יכולה להיות אטית מאוד אם היא לא נשענת על שרת חיצוני מהיר.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה כרגע?

לא באופן ישיר. המצב שלה מוגדר כ־PAUSED, מה שאומר שהיא מושבתת כרגע בדפדפן. כדי להשתמש בה תצטרכו לשכפל את הקוד לסביבה פעילה משלכם.

האם השימוש בה עולה כסף?

העמוד עצמו פתוח לגישה חופשית ולא דורש תשלום. עם זאת, מכיוון שהיא כרגע מושהית, שימוש עצמאי ידרוש שכפול לחשבון שלכם שעשוי לדרוש משאבי הרצה.

מה קורה עם הטקסט שמקלידים בצ'אט?

הטקסט נשלח לממשק Gradio ומועבר לסקריפט שמעבד אותו. לא מפורט בדף שום מנגנון לשמירת המידע או אבטחתו, ולכן לא כדאי להזין שם מידע רגיש או פרטי.

במה הממשק הזה שונה מהרצת המודל לבד?

הוא עוטף את המודל בדף שיחה מוכן עם כפתורים וסליידרים להגדרות. במקום לכתוב קוד בפייתון כדי לשלוח בקשות, מקבלים תיבת טקסט מוכנה שמציגה את התוצאות כמו בשיחה רגילה.

איך מריצים

בפועל כותבים הודעה ולוחצים על Send message, או מתחילים שיחה חדשה דרך New topic. אם היצירה ארוכה מדי, יש כפתור Stop לעצירה מיידית. עם זאת, האפליקציה נמצאת כעת במצב PAUSED על חומרת cpu-basic, כך שאי אפשר להריץ אותה בדפדפן כרגע בלי שהיוצרים יפעילו אותה מחדש או שתשכפלו אותה לחשבון שלכם.

pip install -U huggingface_hub
hf download Open-Orca/Mistral-7B-OpenOrca

הקבצים

18 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון לא דווח בעמוד של האפליקציה. במצב כזה אין אישור מפורש לשימוש מסחרי בפלט, וכל טקסט שאתם מזינים עובר דרך השרת שעליו יושב הממשק ללא תנאי שימוש מוגדרים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗