ChatYuan-large-v2 — הדגמה
קוד פתוחClueAIרישיון לא דווח2023-03-23
ממשק שיחה שמריץ מודלי שפה ממשפחת ChatYuan של ClueAI. הוא מיועד למי שרוצה לבחון יכולות שיחה ומענה לטקסט דרך דפדפן, בעיקר בסינית.
- 2.9 GBמשקל הקבצים
- —הורדות בחודש
- 51לייקים
מה זה
אתם מקלידים הודעת טקסט בחלון השיחה ומקבלים תשובה שנוצרת במקום. הממשק מחולק ללשוניות, וכולל אפשרויות שונות להרצת המודל, כולל שימוש במפתח API של ClueAI בלשונית ייעודית לצד הרצה ישירה.
מתחת למכסה המנוע הקוד טוען מודל מסוג T5ForConditionalGeneration יחד עם T5Tokenizer של ClueAI/ChatYuan-large-v2. הוא מסתמך על ארכיטקטורת T5 המוכרת לעיבוד שפה טבעית, ומאפשר לכוונן בהגדרות ערכים כמו temperature, מדד top_p, ומספר תוצאות כדי לשלוט באקראיות של הפלט.
הממשק נבנה בסינית עם כפתורים דו-לשוניים לניקוי היסטוריה, שליחה מחדש ויצירה מחדש של המענה. אין כאן דוגמאות מובנות מראש בטקסט הקוד, כך שאתם מזינים את כל השאלות בעצמכם ישירות לתיבת הטקסט.
מתאים ל
- בדיקת מודל T5 בסינית
מזינים פרומפטים כדי לבדוק איך ארכיטקטורת T5 של ChatYuan מתמודדת עם ניסוח תשובות.
- ניסוי בפרמטרי יצירה
משנים ערכי temperature ו־top_p בסליידרים כדי לראות איך הם משפיעים על גיוון הטקסט.
- בדיקת חיבור עם מפתח API
מזינים מפתח ייעודי בלשונית המתאימה כדי לבדוק מענה ישיר דרך השירות של ClueAI.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה נמצאת במצב של שגיאת ריצה ולא עובדת בדפדפן. מעבר לכך, הממשק מוכוון סינית לפי הכיתוב בקוד, כך שאין ערובה לתמיכה טובה בעברית. בלשונית אחת אף מופיעה דרישה להזין מפתח API כדי להמשיך.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא, נכון לעכשיו היא נמצאת במצב של תקלת הרצה. הדף נטען אבל השרת מחזיר שגיאה ולא מאפשר להפיק תשובות. צריך לחכות שהיוצרים יעדכנו את הקוד כדי להשתמש בה.
האם השימוש בממשק עולה כסף?
הגישה לעמוד עצמו פתוחה בחינם. עם זאת, בלשונית מסוימת בקוד יש שדה חובה להזנת מפתח API פרטי. השימוש בלשונית הזו תלוי בתנאים ובמכסות של המפתח האישי שלכם.
האם אפשר להריץ את המודל מקומית במחשב?
כן, הקוד מראה שימוש ישיר בספריית transformers עם T5ForConditionalGeneration. אפשר למשוך את המשקולות של ClueAI/ChatYuan-large-v2 ולהריץ אותן בסביבת פייתון מקומית. תצטרכו חומרה מתאימה, רצוי כרטיס מסך שמקביל ל־T4 לפחות.
האם המודל מבין עברית?
הממשק עצמו כתוב בסינית ובאנגלית, והמשפחה הזו של ClueAI אומנה במקור עבור השפה הסינית. סביר להניח שהביצועים בעברית יהיו נמוכים מאוד או לא קיימים כלל. עדיף להזין טקסטים באנגלית או בסינית לבדיקה.
איך מריצים
כותבים הודעה בתיבת הטקסט ולוחצים על Send. בצד ימין יש סליידרים לקביעת הטמפרטורה וה־top_p, וכפתורים למחיקת השיחה או להפקה מחדש. המערכת מוגדרת על מעבד גרפי מסוג t4-medium, אבל כרגע העמוד מדווח על שגיאת ריצה כללית, כך שאי אפשר לקבל פלט עד שיתקנו את הקוד.
pip install -U huggingface_hub hf download ClueAI/ChatYuan-large-v2
הקבצים
13 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל מופץ תחת רישיון creativeml-openrail-m. הרישיון הזה מתיר שימוש חופשי ומסחרי תחת מגבלות שימוש אתיות מוגדרות, אך הקוד לא מציין מה קורה עם המידע והשיחות שנשלחים דרך השרת.