OpenOrca-Platypus2-13B — הדגמה

קוד פתוח

Open-Orcacc-by-nc-4.02023-08-13

gradio

ממשק שיחה פשוט לבדיקת מודל השפה OpenOrca Platypus2 13B ישירות בדפדפן. מתאים למי שרוצה להתנסות ביכולות המודל ולכוונן פרמטרים בלי להרים שרת עצמאי.

4,096טוקנים בהקשר
24.2 GBמשקל הקבצים
—הורדות בחודש
61לייקים

מה זה

כותבים הודעת טקסט בחלון הצ'אט ומקבלים תשובה שנוצרת על ידי המודל OpenOrca-Platypus2-13B. הממשק בנוי בגרדיו ומאפשר לשלוח הנחיות מערכת לצד שאלות רגילות, ולנהל רצף שיחה מתמשך בעזרת מנגנון זיכרון פנימי של היסטוריה.

מתחת לתיבת השיחה יש לוח פרמטרים שמאפשר לשנות את התנהגות הפלט. אפשר לקבוע שם את כמות הטוקנים המרבית בין 20 ל־1000, לשחק עם הטמפרטורה מ־0.2 עד 2.0, ולכוון מדדים כמו top-p, top-k וקנס על חזרתיות. הקוד מייבא גם את ספריית openai, כך שעיבוד הבקשות נשען על קריאות שירות ולא על טעינה מקומית פשוטה בתוך הסקריפט.

מתאים ל

ניסוי בהנחיות מערכת
בדיקת השפעת system prompt על סגנון התשובות של המודל.
כוונון פרמטרי יצירה
בחינת שינויי ערכי טמפרטורה וענישת חזרתיות על איכות הפלט.
שיחה מבוססת טקסט
התנסות במענה לשאלות ובדיאלוג ישיר מול גרסת 13B.

איפה זה נופל

הבעיה המרכזית היא שהעמוד מושבת כרגע ולא מייצר פלטים כלל. מעבר לזה, הממשק מוגבל לטקסט בלבד ולא תומך בהעלאת קבצים או מסמכים. שדה אורך הפלט מוגבל ל־1000 טוקנים לכל היותר, כך שהוא לא מתאים ליצירת טקסטים ארוכים או לניתוח מעמיק.

שאלות
נפוצות

האם הממשק זמין כרגע לשימוש חינמי?

הגישה לעמוד פתוחה ללא תשלום, אבל הוא נמצא כרגע במצב מושהה. עד שיוצריו לא יפעילו אותו מחדש, אי אפשר לשלוח הודעות ולקבל תשובות.

האם אפשר להעלות קבצים או מסמכים לניתוח?

לא. הממשק מכיל אך ורק תיבת טקסט להזנת הודעות רגילות ושדה להנחיית מערכת, ללא תמיכה בקובצי פידיאף, תמונות או נתונים חיצוניים.

האם המודל עצמו רץ על מעבד השרת של הדף?

החומרה של העמוד מוגדרת כמעבד בסיסי, והקוד מייבא את ספריית openai. זה מעיד שהממשק פועל כצינור לתקשורת מול שרת קצה ולא טוען את משקלי המודל ישירות על הזיכרון המקומי.

אפשר להריץ את הכלי הזה באופן מקומי?

הקוד כתוב בגרדיו ומשתמש בספריות סטנדרטיות, אך דורש הגדרת נקודת קצה מתאימה למודל שלא מפורטת במלואה בקוד הגלוי. המודל עצמו זמין להורדה נפרדת בהאגינג פייס.

איך מריצים

נכון לעכשיו אי אפשר להריץ את ההדגמה כי היא נמצאת במצב מושהה. בעבודה רגילה מקלידים בתיבת הטקסט, לוחצים על Send message וממתינים לתשובה, לצד כפתורים לעצירת יצירת הטקסט או לפתיחת נושא חדש. החומרה שהוגדרה לה היא מעבד בסיסי בלבד, מה שאומר שבלי ניתוב לשירות חיצוני, מענה של מודל בגודל 13 מיליארד פרמטרים היה איטי מאוד.

pip install -U huggingface_hub
hf download Open-Orca/OpenOrca-Platypus2-13B

הקבצים

19 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של היישום לא דווח בקוד או בפרטי הדף. במצב כזה אין הרשאה ברורה לשימוש מסחרי בקוד הממשק, ולא ברור מהם תנאי הפרטיות לגבי טקסטים שמזינים לתוכו.

שינוי הקוד
חובת ייחוס
שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗