OpenHathi-7B-Hi-v0.1-Base

מה זה

Sarvam AI בנו את המודל הראשון בסדרת OpenHathi על גבי הארכיטקטורה של Llama 2. הוא הגיע לעולם בסוף 2023 עם כמעט 6.9 מיליארד פרמטרים, כשהמטרה שלו היא לתת מענה לשפות כמו הינדית, הינגליש ואנגלית, תחום שבו מודלים מערביים בדרך כלל חלשים או יקרים מאוד לטוקניזציה.

מדובר במודל בסיס שמשתמש בחלון הקשר של 4,096 טוקנים ובדיוק bfloat16. הוא מספק תשתיות טקסט כלליות אבל לא כויל לשיחה או למענה ישיר לשאלות, כך שאי אפשר לצפות ממנו לתשובות מוכנות מהקופסה בלי תהליך התאמה ייעודי.

מתאים ל

• אימון מודל צ'אט בהינדית

  נקודת מוצא להתאמה אישית של שיחות בהינדית והינגליש על בסיס מודל שאומן על השפות האלה מראש.

• השלמת טקסט בשילוב שפות

  השלמת משפטים עבור מערכות שמשלבות אנגלית והינדית מעורבבת ללא צורך בהוראות מורכבות.

• מחקר על שפות הודיות

  בדיקת התנהגות של מודלי שפה על טקסטים בהינדית מול מודלי בסיס רגילים של לאמה.

איפה זה נופל

זהו מודל בסיס לחלוטין, והיוצרים שלו כותבים בפירוש שהוא לא נועד לשימוש כפי שהוא. אם תנסו לנהל איתו צ'אט תקבלו השלמת טקסט עיוורת ולא תשובות הגיוניות. בנוסף, חלון ההקשר קצר ועומד על 4,096 טוקנים בלבד, והוא מוגבל סביב הינדית ואנגלית, כך שלעברית או שפות אחרות אין מה לחפש כאן.

איך מריצים

כדי להריץ אותו צריך להוריד כעשרים ג'יגה בייט של משקלים, שרצים בספריית transformers עם LlamaForCausalLM. החומרה הנדרשת היא כרטיס מסך עם לפחות ששה עשר עד עשרים וארבעה ג'יגה זיכרון כדי לטעון אותו בפורמט bfloat16 מלא בלי לחנוק את הזיכרון הגרפי.

אם אתם רק רוצים לבדוק איך הוא מגיב להינדית בלי להחזיק שרת יקר, פנייה לפתרונות ענן או שירותי הרצה חיצוניים תחסוך את כאב הראש של ניהול התשתית.

ollama run hf.co/sarvamai/OpenHathi-7B-Hi-v0.1-Base:Q4_0

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

14 קבצים במאגר, 20.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors4.9 GB
• OpenHathi-7B-Hi-v0.1-Base-q4_1.gguf4.3 GB
• OpenHathi-7B-Hi-v0.1-Base-q4_0.gguf3.9 GB
• model-00003-of-00003.safetensors3.8 GB
• tokenizer.json2.8 MB
• tokenizer.model967.6 KB
• model.safetensors.index.json23.9 KB
• .gitattributes1.7 KB
• README.md1.1 KB
• tokenizer_config.json936 B
• config.json667 B
• special_tokens_map.json438 B
• generation_config.json184 B

הרישיון

הרישיון הוא llama2 המקורי של מטא. מותר להשתמש בו לצרכים מסחריים ומחקר, כל עוד עומדים במגבלות השימוש המקובלות של מטא, כולל תקרת משתמשים חודשיים גדולה מאוד שמחייבת אישור מיוחד ומגבלות על אימון מודלים מתחרים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗