madlad400-3b-mt

מה זה

מדובר במודל מבוסס ארכיטקטורת טי חמש עם כמעט שלושה מיליארד פרמטרים, שאומן על טריליון טוקנים כדי להתמודד עם תרגום מכונה במאות שפות במקביל. רוב המודלים בגודל הזה מתרכזים בכמה עשרות שפות נפוצות ומזניחים שפות עם מעט מידע ברשת, אבל כאן המטרה הייתה לכסות כמה שיותר שפות פחות מיוצגות. כדי להפעיל אותו, פשוט מוסיפים תגית של שפת היעד כמו שתיים פי טי בתחילת המשפט, והוא פולט את התרגום.

היתרון הגדול שלו מול מודלים עצומים הוא היעילות. גוגל מדווחים שהוא מתחרה היטב גם במודלים כבדים בהרבה, בזכות אימון רחב על מאגר ייעודי. עם זאת, הוא נבדק רק על מאתיים וארבע שפות מתוך כלל השפות הנתמכות, כך שהביצועים בשפות מסוימות נשענים על הכללה ולא נמדדו ישירות.

מתאים ל

• תרגום שפות נדירות מקומית

  הוא אומן על מעל 450 שפות ומאפשר עיבוד שפות חסרות ייצוג בלי להסתמך על שירותי צד שלישי יקרים.

• תרגום אופליין על מכשירי קצה

  בגרסה המכווצת של גיגה וחצי אפשר להריץ אותו מקומית על מחשבים פשוטים ללא חיבור אינטרנט.

• ניקוי ועיבוד מאגרי מידע רב לשוניים

  מתאים לצינורות עיבוד נתונים שבהם רוצים לנרמל טקסט ממקורות גלובליים שונים לשפה אחת.

איפה זה נופל

הכרטיס מדגיש שהמודל אומן על מידע כללי מהרשת, ולכן הוא לא מתאים לתחומים מקצועיים כמו רפואה או משפטים ללא התאמה ייעודית. מעבר לכך, המפתחים מודים מפורשות שהם לא בחנו אותו לתרחישי פרודקשן, ויש סיכון לפליטת טקסטים פוגעניים או שגויים שמקורם בזחילה מהרשת. מגבלה טכנית בולטת היא חלון הקשר של חמש מאות ושנים עשר טוקנים, מה שאומר שהוא מתאים לפסקאות קצרות ולא למסמכים ארוכים ברצף.

איך מריצים

במשקל מלא של כמעט חמישה עשר גיגה בייט, אתם צריכים כרטיס מסך עם לפחות שישה עשר גיגה זיכרון כדי להריץ אותו בנוחות בפייתון עם טרנספורמרס. מי שרוצה לחסוך משאבים יכול להשתמש בספריית קנדל בראסט ולהוריד גרסה מכווצת של מודל קיו ארבע קיי שתופסת רק גיגה וחצי של זיכרון, מה שמאפשר הרצה מקומית חלקה גם על מעבד רגיל.

אם אתם מתרגמים רק שפות פופולריות כמו אנגלית וספרדית בנפחים קטנים, עדיף להשתמש בחיבור פשוט לשירותי תרגום קיימים ולא לתחזק שרת ייעודי. תרימו אותו לבד רק אם יש לכם צורך בפרטיות מידע מוחלטת, או כשאתם בונים שירות שמתרגם באופן קבוע שפות נידחות.

ollama run hf.co/google/madlad400-3b-mt:Q3K

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

13 קבצים במאגר, 14.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors11.8 GB
• model-q4k.gguf1.7 GB
• model-q3k.gguf1.3 GB
• model-q2k.gguf965.5 MB
• tokenizer.json16.6 MB
• spiece.model4.4 MB
• README.md9.7 KB
• .gitattributes1.7 KB
• tokenizer_config.json830 B
• config.json749 B
• special_tokens_map.json414 B
• generation_config.json142 B
• added_tokens.json4 B

הרישיון

הרישיון הוא אפאצ׳י שתיים אפס, רישיון קוד פתוח מתירני מאוד. אתם יכולים לשלב אותו במוצרים מסחריים, לשנות את המשקלים ולהפיץ אותם כחלק מתוכנה, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗