Chinese-Llama-2-7b — הדגמה

קוד פתוח

LinkSoulopenrail2023-07-21

gradio

ממשק צ'אט שמיועד לבדיקת גרסאות מותאמות של לאמה 2 לסינית. הוא פונה למי שרוצה להתנסות בהרצת מודל שפה קטן יחסית ישירות דרך הדפדפן.

2,048טוקנים בהקשר
25.1 GBמשקל הקבצים
—הורדות בחודש
115לייקים

מה זה

האפליקציה בנויה כממשק שיחה פשוט. אתם מקלידים הודעות טקסט בחלון הצ'אט, והמערכת מחזירה תשובות שנוצרות על ידי המודל. יש גם אפשרות לפתוח הגדרות מתקדמות ולשנות פרמטרים כמו טמפרטורה, System prompt ומספר הטוקנים המקסימלי לתשובה, לצד כפתורים לחזרה על שאלה או מחיקת ההיסטוריה.

מאחורי הקלעים רשומות גרסאות סיניות של Llama 2 7B מבית LinkSoul, כולל גרסאות 4bit ו־ggml לצד המודל המקורי של מטא, עם שימוש בדאטהסט instruction_merge_set. בתיעוד מוזכר גם מודל הצ'אט של מטא, כך שההתמקדות היא ביכולות שיחה ואימון ייעודי בעקבות הוראות.

מתאים ל

בדיקת התאמה לסינית
ניסיון מעשי עם תשובות מודל Llama 2 שאומן על דאטהסט ייעודי לשפה הסינית.
השוואת פרמטרים
משחק עם טמפרטורה וטוקנים דרך אפשרויות מתקדמות כדי לראות איך הפלט משתנה.
שכפול סביבת עבודה
העתקת הקוד של המרחב לשימוש פרטי דרך כפתור השכפול המובנה בממשק.

איפה זה נופל

הבעיה המרכזית היא שההדגמה שבורה ולא פעילה כרגע בגלל שגיאת ריצה. בנוסף, הקוד כולל הגבלה על אורך הטוקנים המצטבר בהיסטוריית הצ'אט, כך ששיחות ארוכות נחסמות ומחייבות איפוס של השיחה.

אל תבנו על זה ככלי עבודה יציב, ובטח שלא לפניות בעברית, מאחר שהאימון מתמקד בהתאמות לשפה הסינית.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה עכשיו?

לא. המרחב מדווח כרגע על שגיאת ריצה (RUNTIME_ERROR), ולכן הממשק לא מגיב עד שהיוצרים יתקנו את הקוד או את התלויות שלו.

האם השימוש כרוך בתשלום?

לא, הגישה למרחב בדפדפן היא בחינם. עם זאת, החומרה שמריצה אותו היא מעבד בסיסי, כך שאין כאן משאבים יקרים שדורשים מנוי.

מה קורה אם הטקסט שאני שולח ארוך מדי?

הקוד בודק את כמות הטוקנים המצטברת לאורך השיחה. אם חורגים מהרף שהוגדר, הממשק זורק שגיאה ומחייב אתכם למחוק את היסטוריית הצ'אט כדי להמשיך.

האם אפשר להריץ את זה על המחשב שלי?

כן, הקוד משתמש בגרסאות פתוחות כמו ggml ו־4bit של LinkSoul. אפשר לשכפל את המרחב או להוריד את הקבצים ולהריץ אותם מקומית עם חומרה מתאימה.

איך מריצים

כרגע אי אפשר ללחוץ על כלום ולקבל תוצאה, כי המרחב נמצא במצב של שגיאת ריצה. באופן עקרוני, פשוט מקלידים טקסט ולוחצים על כפתור השליחה.

המערכת מוגדרת על חומרת CPU בסיסית בלבד. המשמעות היא שגם כשהקוד עובד, מודל של שבעה מיליארד פרמטרים על מעבד רגיל יגיב לאט מאוד בהשוואה להרצה על כרטיס גרפי.

pip install -U huggingface_hub
hf download LinkSoul/Chinese-Llama-2-7b

הקבצים

14 קבצים במאגר, 25.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של המרחב עצמו לא דווח. מודלים של לאמה 2 כפופים ברישיון המקורי למגבלות של מטא, אך כאן אין פירוט לגבי תנאי השימוש בטקסטים שמוזנים או מופקים, ולכן אסור להניח שמותר להשתמש בתוצרים לצרכים מסחריים.

שימוש מסחרי
שינוי הקוד
מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗