Alif-1.0-8B-Instruct

מה זה

מדובר בהתאמה של לאמה 3.1 בגודל שמונה מיליארד פרמטרים, שעברה אימון המשך וכוונון על דאטה סינתטי שעבר עידון ידני. המטרה המרכזית שלו היא לשפר את יכולות החשיבה והשפה באורדו לצד אנגלית, תחום שבו רוב המודלים בגודל הזה מקרטעים. האימון עצמו בוצע באמצעות אנלוט והספרייה של האגינג פייס.

היוצרים בחנו את הביצועים מול שורה של מודלים מובילים בגודל דומה, כמו גמה 2, מיסטרל נמו, קוון 2.5 ואיה אקספנס, על בסיס סט מבחנים ייעודי באורדו עם שופט מבוסס מודל חיצוני. היתרון שלו מורגש בעיקר כשצריך להבין ניואנסים מקומיים, הקשר תרבותי ודקויות תחביר שלא קיימות באנגלית.

מתאים ל

• בוטים ועיבוד שפה באורדו

  התאמה מלאה למשתמשים דוברי אורדו תוך שמירה על הקשר תרבותי ודקויות לשוניות.

• תרגום וחשיבה דו לשונית

  ניתוח טקסטים ומעבר בין אנגלית לאורדו במשימות שמצריכות היגיון ולא רק תרגום מילולי.

• מענה אוטומטי מקומי

  הרצה מקומית על שרתי הארגון בלי להסתמך על מודלים סגורים שלא תומכים בשפה היטב.

איפה זה נופל

המודל מוגבל לשתי שפות בלבד, אנגלית ואורדו, ולא נוגע בעברית או בשפות אחרות. הוא מקבל ופולט טקסט בלבד בלי שום יכולת מולטימטלית לתמונות או שמע. בנוסף, ההערכה בכרטיס המודל התבססה על מבחנים ייעודיים באורדו מול שופט אוטומטי, כך שביצועי החשיבה הכלליים שלו באנגלית לא נמדדו שם מול בנצ'מרקים סטנדרטיים, וצריך לבדוק טוב שלא חלה נסיגה ביכולות הבסיסיות של לאמה.

איך מריצים

כדי להריץ אותו מקומית צריך כרטיס מסך סביר עם לפחות 16 גיגה זיכרון לעבודה בפורמט מלא, או פחות מזה אם טוענים אותו בקוונטיזציה של 4 ביט עם ספריות כמו ביטס אנד בייטס. המודל זמין בפורמט שנפתח ישירות בטרנספורמרס וגם בגרסאות מכווצות שמתאימות לאולאמה או למה סי פי פי.

המשקל בגרסה המקורית כבד ותופס כמעט 50 גיגה בגלל שמירת הקבצים המלאה. אם המטרה היא בדיקה מהירה, קל יותר להרים את המחברות הציבוריות בקולאב עם גרדיו או טקסט סטרימר במקום להוריד את כל הנפח הזה לשרת מקומי.

ollama run hf.co/large-traversaal/Alif-1.0-8B-Instruct:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

17 קבצים במאגר, 48.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-f16.gguf16.1 GB
• model-Q8_0.gguf8.5 GB
• model-Q6_K.gguf6.6 GB
• model-Q5_K_M.gguf5.7 GB
• model-Q4_K_M.gguf4.9 GB
• model-Q3_K_M.gguf4.0 GB
• adapter_model.safetensors3.4 GB
• model-Q2_K.gguf3.2 GB
• tokenizer.json17.2 MB
• result1.jpg352.1 KB
• result2.jpg284.7 KB
• tokenizer_config.json50.6 KB
• README.md3.8 KB
• .gitattributes2.5 KB
• adapter_config.json831 B
• special_tokens_map.json459 B
• config.json29 B

הרישיון

הרישיון הוא אפאצ'י 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולהטמיע בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין כאן הגבלות מיוחדות על סוג השימוש או דרישה לפתוח קוד שנבנה מעליו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗