ChatYuan-large-v2
קוד פתוחClueAIרישיון לא דווח2023-03-23
מודל שיחה דו לשוני בסיסי למדי בסינית ובאנגלית, שמבוסס על T5. הוא מיועד למי שמחפש פתרון קל במיוחד להרצה מקומית על חומרה חלשה.
- 2.9 GBמשקל הקבצים
- 65הורדות בחודש
- 178לייקים
מה זה
הגרסה הזו נבנתה על בסיס ארכיטקטורת T5 המוכרת, ועברה כוונון ייעודי להוראות, חיזוק ממשוב אנושי ויכולות שרשרת מחשבה. היצרן הרחיב את חלון ההקשר שלו עד 4096 תווים, והוסיף תמיכה ביצירת טבלאות, כתיבת קוד פשוט, סירוב לשאלות מסוכנות ויכולות חשבון בסיסיות, לצד תמיכה באנגלית בנוסף לסינית.
למרות ההבטחות, מדובר במודל מוקדם יחסית ממרץ 2023. הדוגמאות שהמפתחים עצמם מציגים מראות תוצאות מעורבות. כשמבקשים ממנו לחבר 256 ועוד 998, הוא פולט 10007 בלי להסס, אלא אם מכריחים אותו לפרק את החישוב שלב אחרי שלב. גם הקוד שהוא מייצר כולל שגיאות בסיסיות, כמו קריאה למחלקות שלא קיימות בספריות מוכרות.
מתאים ל
- הרצה מקומית על מחשב חלש
צורך בערך 3 גיגה זיכרון מסך בחצי דיוק, ורץ בקלות בלי שרת ייעודי.
- עיבוד טקסטים בסיסי בסינית
מתאים לניסוחי הודעות, כתיבה חופשית או שאלות ותשובות בסיסיות בסינית.
- יצירת טבלאות נתונים פשוטות
ממיר רשימות נתונים גולמיות למבנה טבלאי של מרקדאון בצורה מסודרת.
איפה זה נופל
הבעיה המרכזית היא אמינות התוכן. אפילו בדפי התיעוד הרשמיים, חישוב פשוט מחזיר שגיאה בוטה, ודוגמת הקוד ללמידת מכונה כוללת המצאות כמו LinearRegularization במקום LinearRegression. המודל מתמקד בעיקר בסינית, עם מעט אנגלית, ואין לו שום תמיכה בעברית. אל תבנו עליו למשימות שדורשות דיוק עובדתי, מתמטיקה, או קוד תקין.
אותה משפחה
ChatYuan-large יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל יודע לעבוד בעברית?
לא. המודל אומן ותוכנן לעבודה בסינית ובאנגלית בלבד. פניות בעברית כנראה יחזירו זבל או חוסר הבנה מוחלט.
אפשר לסמוך עליו לכתיבת סקריפטים וקוד?
ממש לא. אפילו בדוגמאות שהיוצרים שמו בעמוד המודל, מופיע קוד פייתון שבור עם מחלקות שלא קיימות בספריית scikit-learn. הוא יודע לייצר מבנה כללי כמו מיון בועות, אבל תצטרכו לבדוק כל שורת קוד בעצמכם.
האם כדאי להשתמש בו ליישום מסחרי?
לא כדאי. מעבר לזה שהרישיון הרשמי לא סומן ולא ברור מה מותר לעשות איתו, היכולות שלו נמוכות בהרבה ממה שמקובל כיום, והוא נוטה להזיות גם במשימות חשבון אלמנטריות.
איך מריצים
ההורדה שוקלת 2.9 גיגה בייט בלבד, מה שהופך את ההרצה שלו לקלה מאוד. בסביבת פייתון רגילה עם transformers, אפשר לטעון אותו ישירות לכרטיס מסך ביתי עם 6 גיגה זיכרון, או לחתוך את הצריכה לכ־3 גיגה זיכרון אם טוענים אותו בחצי דיוק. לפי היצרן, בגרסאות מכווצות של INT4 אפשר לרדת עד 400 מגה זיכרון ולהריץ אותו אפילו על מעבד של מחשב אישי או טלפון.
אם אתם צריכים רק שירות בדיקה מהיר בלי לגעת בחומרה, ליוצרים יש הדגמה מקוונת וגישה מבוססת שרת. מצד שני, מודל כזה קטן שווה להריץ מקומית, כי אין היגיון לשלם על API למודל בנפח כזה.
from transformers import pipeline
pipe = pipeline("text-generation", model="ClueAI/ChatYuan-large-v2")
print(pipe("שלום"))הקבצים
13 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון לא דווח בעמוד המודל. אף שכרטיס המודל מפנה לקובץ רישיון ומבקש להשתמש בו במסגרת החוק, העדר רישיון מוגדר במפורש אומר שאין לכם אישור ברור לשימוש מסחרי, ואי אפשר להפיץ אותו במוצר בלי להסתכן משפטית.