typhoon-7b

מה זה

מדובר במודל שפה שאומן מראש על גבי Mistral-7B, תוך התמקדות ממוקדת בשפה התאילנדית לצד אנגלית. המטרה כאן ברורה, רוב המודלים הגנריים נחנקים על שפות עם אלפבית שאינו לטיני בגלל פירוק טוקנים לא יעיל, וכאן המפתחים הצליחו להגיע ליעילות טוקניזציה גבוהה פי 2.62 תוך שמירה על ביצועים שמשתווים לגרסאות מוקדמות של מודלים מסחריים גדולים.

במבחני ביצועים מקומיים בתאילנד כמו מבחני קבלה והסמכה רשמיים, הוא עוקף את שאר האלטרנטיבות הפתוחות באזור כמו SeaLLM או WangChanGLM. במבחן TGAT למשל הוא מגיע לציון של 0.700 לעומת ממוצע אנושי של 0.472, מה שמראה הבנה טובה של חומרי לימוד וטקסט מקומי, כל עוד מבינים שזהו מודל גולמי שמשלים טקסט ולא עוזר אישי שמנהל שיחה.

מתאים ל

• אימון מודל הוראות בתאילנדית

  בסיס מצוין ל־fine-tuning של צ'אט ייעודי בזכות טוקניזציה חסכונית וציונים גבוהים במבחנים מקומיים.

• השלמת טקסט במסמכים תאילנדיים

  מודל גולמי שממשיך ניסוחים, הצעות השלמה וטקסט מקצועי בתאילנדית ישירות מתוך ההקשר.

• סיווג טקסט עם דוגמאות

  מתאים לניתוח טקסטים בתאילנדית באמצעות פרומפטים מובנים של few-shot על חלון הקשר רחב.

איפה זה נופל

זהו מודל בסיס בלבד, ללא התאמה להוראות וללא מנגנוני סינון ובקרה. הוא יפלוט טקסטים פוגעניים או הזויים אם תתנו לו, והוא לא מבין פקודות ישירות כמו 'סכם לי את המסמך' בלי שתדגימו לו דוגמאות בתוך הפרומפט. בנוסף, הוא מיועד אך ורק לתאילנדית ואנגלית, כך שאין מה לחפש בו יכולות בעברית.

איך מריצים

כדי להעלות אותו בזיכרון בדיוק המקורי של bfloat16, צריך לפחות 16 גיגה בייט של זיכרון גרפי ייעודי, כלומר כרטיס מקצועי בודד או מאיץ ענן סביר. הקבצים עצמם שוקלים 27.1 גיגה בייט ומחולקים לעשרה קבצים שדורשים ספריית transformers מגרסה 4.34.0 ומעלה.

אם כל מה שאתם צריכים זה צ'אט מהיר או מענה להוראות, אין שום טעם להרים אותו מקומית. עדיף לפנות לגרסת ה־instruct או להשתמש ב־API חיצוני, כי המודל הזה כפי שהוא ידרוש מכם כתיבת פרומפטים מורכבת של few-shot רק כדי לקבל פורמט תשובה הגיוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="typhoon-ai/typhoon-7b")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 27.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• model-00001-of-00002.safetensors10.0 GB
• pytorch_model-00002-of-00002.bin4.6 GB
• model-00002-of-00002.safetensors4.6 GB
• tokenizer.json2.0 MB
• tokenizer.model562.9 KB
• model.safetensors.index.json25.1 KB
• pytorch_model.bin.index.json23.9 KB
• LICENSE.txt11.4 KB
• README.md3.5 KB
• .gitattributes1.5 KB
• tokenizer_config.json915 B
• config.json595 B
• generation_config.json116 B
• special_tokens_map.json72 B

הרישיון

הרישיון הוא Apache 2.0, רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי חופשי לחלוטין. מותר לשנות אותו, לאמן עליו גרסאות משלכם, להטמיע אותו במוצר פנימי או לחשוף אותו למשתמשי קצה, בלי צורך לחלוק את הקוד שלכם, ובלבד שתשמרו על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗