Turkish-Gemma-9b-T1

מה זה

המודל מתבסס על Turkish-Gemma-9b-v0.1 ומכוון ישירות לחשיבה לוגית, פתרון בעיות וחישובים שלב אחר שלב בטורקית. המפתחים אימנו אותו לייצר פחות הזיות ולדעת מתי להודות בחוסר ודאות במקום להמציא תשובות, לצד מעקב הדוק אחרי הוראות.

בבדיקה מול שופטים אנושיים על 1,450 שאלות, הוא רשם שיעור ניצחון של 68.65%, ועקף מודלים גדולים ממנו בהרבה כמו גרסאות של גמא וקוון. במבחן GSM8K בטורקית הוא הגיע לציון 77.41, כמעט זהה לתוצאות של מודלי 27B ו־32B. מדובר בהתאמה שמצליחה לסחוט יכולת חישוב ברמה של מודל ענק לתוך גודל של 9.2B פרמטרים, כל עוד העבודה מתנהלת בטורקית.

מתאים ל

• פתרון בעיות מתמטיקה בטורקית

  הוא מגיע לציון 77.41 ב־GSM8K בטורקית ומסוגל לפרק חישובים לשלבים מדויקים.

• עוזר שיחה להסקה לוגית

  הוא מתמודד עם תנאים מרובים וחידות לוגיות בטורקית עם פחות הזיות ממודלים כלליים.

• עיבוד הוראות מקומי

  מתאים לשרת עצמאי עם כרטיס 24GB שחייב לעקוב במדויק אחר הנחיות מורכבות בטורקית.

איפה זה נופל

ההגדרות של המודל הזה רגישות במיוחד. אסור להשתמש בפיענוח חמדן (greedy decoding), כי הוא גורם לצניחה בביצועים ולחזרות אינסופיות בלולאה. במשימות מורכבות צריך להעלות עונש חזרתיות, אבל ערך גבוה מדי גורם לו לערבב שפות ולרדת באיכות. בנוסף, חלון ההקשר מוגבל ל־8,192 טוקנים, והמיקוד הבלעדי שלו הוא השפה הטורקית, כך שהוא חסר תועלת לעיבוד טקסטים בעברית.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 צריך להחזיק כ־18 עד 20 גיגה בייט בזיכרון המאיץ, כך שכרטיס כמו RTX 3090 או 4090 עם 24GB יעשה את העבודה בנוחות. אם חסר לכם מקום בזיכרון, אפשר להוריד את הדרישות באמצעות קוונטיזציה לחומרה צנועה יותר.

המפתחים מעמידים ממשק צ'אט ברשת לבדיקות מיידיות. אם אתם רק בוחנים את היכולות שלו מול טקסטים בטורקית, אין סיבה להקים שרת שלם לפני שבודקים את ההתנהגות שלו שם.

from transformers import pipeline

pipe = pipeline("text-generation", model="ytu-ce-cosmos/Turkish-Gemma-9b-T1")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 17.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors3.7 GB
• tokenizer.json34.4 MB
• Turkish_gemma.png1.9 MB
• tokenizer_config.json46.8 KB
• model.safetensors.index.json39.1 KB
• voting_new.png33.1 KB
• README.md6.5 KB
• .gitattributes1.7 KB
• config.json853 B
• special_tokens_map.json644 B
• generation_config.json223 B

הרישיון

הפרויקט מופץ תחת תנאי הרישיון של משפחת גמא של גוגל. הרישיון מאפשר שימוש מסחרי, אך כולל מגבלות שימוש מקובלות של גוגל לגבי בטיחות, ודורש לעמוד בתנאי השימוש המקוריים של הארכיטקטורה. אם אתם משלבים אותו במוצר מסחרי, חובה לוודא שהשימוש שלכם תואם למדיניות ההפצה וההגבלות של גמא.

• שימוש מסחרי
• שינוי הקוד
• כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗