GPT
הוספת כלי
S

SeaLLM-7B-v2

קוד פתוח

SeaLLMsother2024-01-29

  • transformers
  • safetensors
  • mistral
  • text-generation
  • multilingual

גרסה מותאמת של מיסטרל לשפות דרום מזרח אסיה, עם חלון של 32 אלף טוקנים ויכולות חישוב מרשימות. מתאימה למי שצריך תמיכה בוייטנאמית, תאילנדית או אינדונזית בגודל קומפקטי.

  • 7.4Bפרמטרים
  • 32,768טוקנים בהקשר
  • 13.7 GBמשקל הקבצים
  • 9,319הורדות בחודש

מה זה

מדובר בהמשך אימון של המודל Mistral-7B, שמכוון ישירות לשפות דרום מזרח אסיה כמו וייטנאמית, אינדונזית, תאילנדית ומלאית לצד אנגלית וסינית. הצוות התמקד בשיפור יכולות החשיבה והמתמטיקה, והתוצאות מראות שיפור חד לעומת מודלים מקבילים בגודל שבעה מיליארד פרמטרים.

במבחני פתרון בעיות מתמטיות כמו GSM8K עם חשיבה צעד אחר צעד, הוא מגיע לציון 78.2 באנגלית ועוקף את הביצועים של GPT-3.5 בגרסאות המתורגמות לתאילנדית, וייטנאמית ואינדונזית. במבחן השיחה MT-bench הוא הגיע לציון 7.54, תוצאה גבוהה שמשאירה מאחור מודלים בסיסיים רבים בגודל הזה ומציבה אותו ככלי שיחה חזק בשפות היעד שלו.

מתאים ל

  • בוטים לשפות דרום מזרח אסיה

    הוא אומן ומותאם ישירות לוייטנאמית, תאילנדית ואינדונזית ברמה גבוהה בהרבה ממודלים גנריים בגודל 7B.

  • פתרון בעיות מתמטיות מקומי

    הוא משיג 78.2 ב־GSM8K ועוקף את GPT-3.5 במשימות חישוב מתורגמות בשפות היעד שלו.

  • עיבוד טקסטים ארוכים באופליין

    תמיכה בחלון של 32 אלף טוקנים מאפשרת לעבד מסמכים מלאים מקומית על גבי כרטיס מסך בודד.

איפה זה נופל

היוצרים עצמם מזהירים שהפלט עשוי לכלול מידע שגוי, מטעה או מזיק, וממליצים לבצע בדיקות בטיחות עצמאיות לפני פריסה. בנוסף, בראש העמוד מצוין שכבר שוחררה גרסה מתקדמת יותר בשם SeaLLM3 שאמורה להיות אמינה בהרבה. המודל אינו כולל שום תמיכה בעברית, ותבנית השיחה רגישה מאוד למבנה הטוקנים, כך ששגיאה בהזנת התוויות תפגע קשות באיכות התשובות.

אותה משפחה

SeaLLM יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

SeaLLM-7B-v2.58,553 SeaLLM-13B-Chat0

שאלות
נפוצות

האם יש למודל תועלת עבור פרויקטים בעברית?

לא. רשימת השפות כוללת אנגלית, סינית ושפות מקומיות מדרום מזרח אסיה, ועברית אינה נתמכת כלל. אם קהל היעד שלכם ישראלי, עדיף להשתמש במודל בסיס רחב יותר כמו מיסטרל המקורי או לאמה.

האם כדאי לבחור בו לפרויקט חדש או לעבור ישר לגרסה הבאה?

עדיף לעבור ישר ל־SeaLLM3. מפתחי המודל עצמם מדגישים בראש העמוד שהגרסה השלישית כבר שוחררה, מציגה ביצועים טובים יותר ועברה שיפורי אמינות ובטיחות.

איך מריצים

המשקל המלא שוקל 13.7 ג'יגה בייט בפורמט bfloat16, ומצריך כרטיס מסך עם 16 עד 24 ג'יגה זיכרון כדי לרוץ בצורה חלקה בשרת. קיימות גרסאות מכווצות בפורמט GGUF כמו q4_0 שרצות ישירות דרך Ollama, LM-Studio או בספריות מותאמות למעבדי אפל, ואז אפשר להסתפק במחשב נייד חזק עם 8 עד 16 ג'יגה זיכרון משותף.

מי שרק בודק את השטח יכול להתנסות במרחב ההדגמה החינמי של הפרויקט ברשת במקום להגדיר תשתית מקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="SeaLLMs/SeaLLM-7B-v2")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 13.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כמותאם אישית ומפנה לתנאי השימוש של SeaLLMs. זה לא רישיון קוד פתוח סטנדרטי כמו אפאצ'י או MIT, ולכן אי אפשר להניח שמותר לשלב אותו באופן חופשי במוצר מסחרי. חובה לקרוא את מסמך התנאים המקורי שלהם לפני כל הפצה.

הרישיון המלא בעמוד המודל ↗