Dolly-v2
רץ בדפדפןRamAnanth1רישיון לא דווח2023-04-12
ממשק פשוט להרצת שאלות מול מודל שפה פתוח. מתאים למי שרוצה לבדוק תשובות של מודל עצמאי ישירות בדפדפן בלי לכתוב שורת קוד.
- —הורדות בחודש
- 114לייקים
מה זה
אתם כותבים שאלה או הוראה בתיבת טקסט ייעודית, לוחצים על כפתור ההפקה ומקבלים תשובה מילולית בחלון התוצאה. הממשק כולל גם דוגמאות מובנות שמופיעות מתחת לשדות, אם כי רשימת הדוגמאות הספציפית בקוד לא מפורטת במלואה מעבר למבנה הבסיסי שלה.
מאחורי הקלעים רץ המודל databricks/dolly-v2-12b, שכולל 12 מיליארד פרמטרים. הקוד טוען את המודל ישירות דרך ספריית transformers של פייתון, יחד עם טוקנייזר תואם וטכניקת קוונטיזציה דרך BitsAndBytesConfig שמכווצת את הדרישות כדי להריץ משקלים כבדים על חומרה גרפית מוגדרת.
התוצאה שמוחזרת היא טקסט חופשי בתחביר מרקדאון, לפי מה שהמודל מייצר ברצף. אין כאן אפשרויות כוונון מורכבות של יצירתיות או אורך, אלא חלון נקי שמיועד לשאלה אחת ותשובה אחת בכל פעם.
מתאים ל
- בדיקת שאלות ותשובות
שליחת שאלות ישירות כדי לראות איך המודל מנסח תשובה קצרה.
- שכפול והרצה עצמאית
העתקת הקוד למרחב אישי לצורך הרצה על חומרה פרטית ללא תור.
- בחינת מודל שפה פתוח
בדיקה מהירה של יכולות Dolly בגרסת 12 מיליארד פרמטרים.
איפה זה נופל
הבעיה המיידית היא שהמרחב מסומן בשגיאת ריצה, כך שאי אפשר להשתמש בו ישירות כרגע. מעבר לכך, אין בממשק שום הגדרות לשליטה בפרמטרים כמו טמפרטורה או אורך מקסימלי, ואין שמירה של היסטוריית שיחה מעבר לשאלה הבודדת שנשלחה.
שאלות
נפוצות
האם השימוש בממשק עולה כסף?
הגישה למרחב עצמו חופשית לגמרי בדפדפן. עם זאת, אם בוחרים לשכפל אותו לחשבון פרטי כדי להריץ על חומרה ייעודית, ייתכן שיידרש תשלום על משאבי המחשוב בהתאם למחירון של הפלטפורמה המארחת.
האם הממשק עובד כרגע?
לא, הוא מדווח במצב שגיאת ריצה. כדי להשתמש בו תצטרכו לשכפל את הקוד ולתקן את הגדרות ההרצה בסביבה שלכם.
האם אפשר להריץ את זה מקומית?
כן, הקוד מבוסס על ספריות פייתון סטנדרטיות וטוען את המודל ממאגר ציבורי. צריך מחשב עם מעבד גרפי מתאים ותמיכה בספריית bitsandbytes כדי להחזיק מודל בגודל הזה.
במה הממשק שונה מהרצת המודל ישירות?
הממשק מספק מעטפת ויזואלית פשוטה לשליחת טקסט בלי לגעת בקוד. מנגד, הוא מסתיר את כל אפשרויות השליטה המתקדמות ומגביל אתכם למבנה של שאלה ותשובה בודדת.
איך משתמשים
מקלידים את השאלה בתיבה ולוחצים על Generate. המערכת מוגדרת לרוץ על מעבד גרפי a10g-large, אבל נכון לעכשיו היא נמצאת במצב שגיאת ריצה ולכן לא תגיב בפועל בלחיצה. בעמוד עצמו מצוין שניתן לשכפל את המרחב כדי להריץ אותו באופן פרטי ולקצר את זמני ההמתנה בתור.
הרישיון
לא דווח רישיון עבור המרחב עצמו. המשמעות היא שאין תנאי שימוש ברורים לגבי הקוד של הממשק או לגבי התוכן שנוצר דרכו, ולכן לא מומלץ להסתמך עליו לפרויקטים מסחריים בלי בדיקה נוספת.