One-stop-for-Open-source-models
רץ בדפדפןSharathhebbar24other2023-09-10
הכלי מרכז גישה למספר מודלי שפה פתוחים מסדרת chopt ישירות מהדפדפן. הוא מיועד למי שרוצה לבדוק יצירת טקסט והשוואת דגמים קטנים בלי להגדיר סביבת עבודה מקומית.
- —הורדות בחודש
- 96לייקים
מה זה
אתם בוחרים מודל מתוך רשימה שמכילה את גרסאות chopt של aisquared, בגדלים שנעים בין 125 מיליון ל־2.7 מיליארד פרמטרים, כולל גרסאות המחקר שלהן. מזינים טקסט או פרומפט לממשק ומקבלים פלט טקסטואלי שמיוצר על ידי המודל הנבחר.
מאחורי הקלעים הקוד משתמש ב־LangChain כדי להתחבר ל־HuggingFaceHub ולהריץ שרשראות של יצירת טקסט. בנוסף, הקוד כולל רכיבים של בדיקת דמיון בין טקסטים וחלוקה לפי משימות של יצירת טקסט ומודלי text2text, כך שתוכלו לראות איך גדלי מודל שונים מתמודדים עם אותה משימה.
מתאים ל
- השוואת גדלי מודלים
בדיקת ההבדל באיכות התשובות בין מודל של 125 מיליון פרמטרים למודל של 2.7 מיליארד באותו נושא.
- בדיקת גרסאות מחקר
הרצת פרומפטים מול גרסאות chopt-research כדי לראות את ההבדלים מול הגרסאות הרגילות.
- התנסות ביצירת טקסט בסיסית
קבלת השלמות טקסט באנגלית ממודלים פתוחים וקלים בלי צורך בהתקנת ספריות במחשב.
איפה זה נופל
המערכת מוגבלת למודלים הספציפיים שהוגדרו מראש, בעיקר משפחת chopt הישנה יחסית מ־2023. אם אתם מחפשים מודלים מודרניים וחזקים כמו Llama או Mistral, הם פשוט לא נמצאים כאן. החומרה הבסיסית לא מאפשרת בדיקות עומס רציניות, והביצועים בעברית במודלים האלה צפויים להיות חלשים עד לא קיימים. אל תבנו על זה כסביבת פרודקשן.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה חופשית לחלוטין דרך הדפדפן. אין דרישה להזין פרטי אשראי או לשלם על זמן ריצה. עם זאת, אתם חולקים משאבי מעבד בסיסיים ומוגבלים עם כל מי שמשתמש בה במקביל.
מה קורה עם המידע שאני מזין בממשק?
הטקסט שאתם מקלידים נשלח דרך תשתית השרת של Hugging Face לטובת עיבוד והרצת המודל. אין פה התחייבות לפרטיות או מחיקת נתונים. לכן לא כדאי להקליד שום פרט מזהה, סודי או עסקי.
כמה זמן לוקח לקבל תשובה?
בגלל שהשרת מבוסס על מעבד רגיל ללא האצת GPU, התגובה עשויה לקחת בין כמה שניות לחצי דקה. המודלים של 125 מיליון פרמטרים יגיבו מהר יחסית. לעומת זאת, המודלים של 2.7 מיליארד ידרשו יותר סבלנות.
האם אפשר להריץ את זה מקומית?
כן, הקוד כתוב בפייתון מעל Streamlit ו־LangChain. אפשר להוריד את הקבצים, להתקין את הספריות הנדרשות ולהריץ אותם על המחשב שלכם. תצטרכו להגדיר טוקן של Hugging Face כדי למשוך את המודלים.
איך משתמשים
נכנסים לממשק ה־streamlit בדפדפן, בוחרים את המודל הרצוי והמשימה, מקלידים את הטקסט ומפעילים. אין צורך בהרשמה או בהתחברות מיוחדת כדי להתחיל לעבוד.
האפליקציה רצה על חומרת cpu-basic בסיסית. זה אומר שזמני התגובה יכולים להיות איטיים, במיוחד במודלים הגדולים יותר של 2.7 מיליארד פרמטרים, או כשיש עומס על השרת המשותף.
הרישיון
הרישיון מוגדר כ־other, כלומר אין כאן רישיון פתוח סטנדרטי וברור שהוגדר במפורש עבור האפליקציה כולה. המודלים עצמם שייכים ליוצרים שלהם ב־aisquared. כל תוכן שאתם מזינים עובר דרך השרתים וה־API של Hugging Face, ולכן לא מומלץ להעלות מידע רגיש או פרטי.