Taiwan-LLaMa2

מה זה

מדובר בממשק שיחה פשוט. אתם כותבים הודעה בתיבת הטקסט, לוחצים על כפתור השליחה, והתשובה מופיעה בתוך חלון הצ'אט של גרדיו. אפשר לנהל שיחה מתמשכת, למחוק את ההודעה האחרונה, לנסות לייצר אותה מחדש או לאפס את כל השיחה לחלוטין בלחיצה אחת.

מתחת למכסה המנוע לא רץ עיבוד מקומי על השרת של הממשק. הקוד טוען טוקנייזר ומשתמש בספריית OpenAI כדי לקרוא למודל Llama-3-Taiwan-70B-Instruct, שמותאם להקשרים ולשפה המקומית של טייוואן. בהגדרות המתקדמות אפשר לקבוע הנחיית מערכת מותאמת אישית, ולשנות פרמטרים כמו מספר הטוקנים המרבי, טמפרטורה וערך top-p לפי הצורך שלכם.

מתאים ל

• בדיקת סינית מסורתית

  בוחנים איך המודל מתמודד עם ניסוחים והקשרים תרבותיים מטייוואן.

• ניסוי בהנחיות מערכת

  משנים את ה־System prompt והפרמטרים כדי לראות איך סגנון המענה מושפע.

• השוואת ביצועים מול Llama-3

  בודקים שאלות ידע ספציפיות מול גרסת הבסיס כדי לזהות התאמות מקומיות.

איפה זה נופל

השם של המרחב כולל את השם LLaMa2, אבל הקוד בפועל פונה למודל שמבוסס על Llama-3, מה שעלול לבלבל אם חיפשתם גרסה ישנה יותר. המודל עבר התאמה ספציפית לטייוואן ולסינית מסורתית, כך שאם תבחנו אותו בעברית התוצאות כנראה לא יהיו ברמה של מודלים כלליים מובילים. הקוד גם מייבא חיבור למסד נתונים מונגו, מה שרומז שהשיחות עשויות להישמר איפשהו בצד השרת.

איך משתמשים

נכנסים לעמוד, מקלידים הודעה בתיבה ולוחצים על שליחה. החומרה שהוקצתה להדגמה היא מעבד בסיסי בלבד, אבל בגלל שהקוד פונה לשירות מרוחק ולא מריץ 70 מיליארד פרמטרים על המעבד, קצב התשובה תלוי בשרת החיצוני שמשרת את המודל. אין כאן דרישת התחברות מיוחדת כדי להתחיל לכתוב.

הרישיון

הרישיון של המרחב עצמו לא דווח בעמוד, אף שמוצגת פסקה כלשהי לגבי רישוי בממשק. מומלץ לא להזין נתונים רגישים או סודיים, במיוחד כשיש בקוד התייחסות לשמירת נתונים מחוץ לממשק.

הרישיון המלא ב־Hugging Face ↗