i-like-flan
רץ בדפדפןosansevieroרישיון לא דווח2022-10-21
מזינים טקסט ומקבלים שתי תשובות במקביל כדי להשוות בין מודל ישן לגרסה שעברה כוונון להוראות. זה מיועד למי שרוצה לראות בעיניים איך שפה של פרומפט משפיעה על פלט.
- —הורדות בחודש
- 148לייקים
מה זה
אתם כותבים פרומפט בתיבת טקסט אחת, והממשק שולח אותו לשני מודלים נפרדים בו זמנית. בצד אחד עונה t5-large הוותיק, ובצד השני עונה flan-t5-xxl, שהוא מודל ענק שרץ פה בגרסת 8 ביט מכווצת כדי שיצליח להיכנס לזיכרון.
המטרה היא להדגים את ההבדל בין מודל בסיס שדורש ניסוחים נוקשים מאוד לבין מודל שאומן להבין שפה טבעית יותר. הקוד כולל דוגמאות מובנות בתוך הממשק, אבל היוצר מציין מראש שהן לא בהכרח הפרומפטים שהכי מתאימים למודל הישן, כך שההשוואה לפעמים לא הוגנת כלפיו במכוון.
מתאים ל
- בדיקת פרומפטים
רואים איך ניסוח משימה מתקבל במודל ישן לעומת מודל שעבר כוונון להוראות.
- הבנת התנהגות מודלי שפה
מבינים למה ארכיטקטורת הבסיס מתקשה בהוראות חופשיות לעומת Flan.
- בחינת יכולות Flan T5 XXL
בודקים את איכות התשובות של המודל הגדול לפני שמורידים אותו מקומית.
איפה זה נופל
הבעיה המרכזית כרגע היא שההדגמה שבורה ולא פועלת בדפדפן עקב שגיאת ריצה בקוד. מעבר לזה, ההשוואה פה מוטה טכנית. t5 הרגיל תוכנן לעבוד עם תבניות ספציפיות כמו תרגום או סיכום, ובלי הפורמט המדויק הוא פשוט פולט ג'יבריש או נכשל, בזמן שגרסת ה־flan מבינה שאלות חופשיות. זה מציג פער שנראה לפעמים גדול ממה שהוא באמת.
שאלות
נפוצות
האם אפשר להשתמש בכלי עכשיו?
לא, כרגע הדף נמצא במצב runtime error והוא לא עובד. צריך לחכות שהמפתח יתקן את הקוד או את טעינת המודלים.
האם צריך לשלם או להירשם?
לא, הגישה חופשית לגמרי דרך הדפדפן. לא מבקשים פרטי אשראי ולא צריך לפתוח חשבון.
האם אפשר להריץ את זה על המחשב?
כן, הקוד מבוסס על ספריות transformers ו־gradio סטנדרטיות. תצטרכו כרטיס מסך חזק מאוד עם מספיק זיכרון כדי להחזיק את flan-t5-xxl אפילו ב־8 ביט.
במה זה שונה מפשוט להוריד את המודל?
הכלי חוסך לכם את הצורך לקודד, להוריד עשרות גיגה-בייט של משקלים ולהגדיר שרשור עבודה כפול. הוא מציג את שני הפלטים אחד ליד השני בצורה נוחה.
איך משתמשים
לוחצים על אחת הדוגמאות המוכנות או מקלידים הוראה בתיבה ושולחים לביצוע. מתחת למכסה מוקצה לזה מעבד גרפי a10g-large כדי להחזיק את שני המודלים בזיכרון, אבל כרגע העמוד בכלל מדווח על שגיאת ריצה, runtime error. אם הוא יעלה מחדש, הריצה לא דורשת התחברות או תשלום, אם כי מודל בגודל של flan-t5-xxl ב־8 ביט צפוי לקחת כמה שניות טובות לכל פלט.
הרישיון
היוצר לא הגדיר רישיון בקוד או בעמוד. המשמעות היא שאין הרשאה ברורה לשימוש חוזר בקוד של הממשק, ומבחינת המידע שאתם שולחים, אין שום פירוט על שמירת הנתונים או השימוש בהם.