Hy-MT2-1.8B-1.25Bit-GGUF

מה זה

מדובר בגרסה מכווצת ברמה קיצונית של 1.25 ביט מבית טנסנט, שמתבססת על מודל תרגום של 1.8 מיליארד פרמטרים. הכיווץ הזה מביא את נפח הקבצים לכדי 444 מגה בייט בלבד ומאיץ את ההסקה פי 1.5 בהשוואה למודל המקורי, כשהוא מתמקד בביצועי תרגום מהירים בלי צורך במחשוב כבד.

לפי הנתונים שהחברה מציגה, הגרסה הקלה הזו מציגה רמת תרגום כוללת שמנצחת ממשקים מסחריים מוכרים של מיקרוסופט ודואובאו, ומסוגלת להתמודד עם הנחיות עיצוב, מונחים ייעודיים ושמירה על מבני נתונים. הרשימה שלו כוללת 33 שפות, וביניהן שפות כמו עברית, ערבית ורוסית, לצד השפות הנפוצות במערב ובאסיה.

מתאים ל

• תרגום במכשיר קצה

  הוא שוקל 444 מגה בלבד ורץ ישירות על מעבדים חלשים בלי חיבור רשת פעיל.

• לוקליזציה של קבצי מבנה

  הוא יודע להחליף טקסט גלוי תוך הקפדה על שמירת המפתחות והתחביר של הפורמט.

• תרגום עברית ואנגלית אופליין

  תמיכה ישירה בעברית יחד עם דרישות זיכרון שמתאימות לכל שרת בסיסי.

איפה זה נופל

קוונטיזציה של 1.25 ביט היא דחיסה אגרסיבית מאוד. מודלים ברמות דיוק כאלה נוטים לסבול מאיבוד חדות בניואנסים מורכבים, ולמרות התוצאות שהמפתחים מציגים, חשוב לבדוק את איכות התרגום בעברית לפני שסומכים עליו בייצור. בנוסף, המודל הזה הוכשר כמעט נטו למשימות תרגום, כך שלא תפיקו ממנו שום תועלת כעוזר שיחה כללי או כמנוע כתיבה.

איך מריצים

בשביל להריץ אותו דרך llama.cpp, לא מספיק להוריד גרסה רשמית ישנה. ההרצה דורשת בנייה של הקוד ממאגר שכולל את קרנל ה־STQ הייעודי שפותח עבור הקוונטיזציה הזו, כפי שמופיע בהצעת השינוי מספר 22836 בפרויקט.

דרישות החומרה כאן מינימליות לחלוטין. הוא נכנס בקלות לזיכרון של לפטופ סטנדרטי או טלפון ומסוגל לרוץ על המעבד בלבד בלי כרטיס גרפי. אם אין לכם כוח להרכיב סביבות פיתוח מקומיות מאפס, שירות ענן חיצוני פשוט יחסוך את כאב הראש.

ollama run hf.co/tencent/Hy-MT2-1.8B-1.25Bit-GGUF:Hy-MT2-1.8B-1.25Bit

הקבצים

45 קבצים במאגר, 444 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Hy-MT2-1.8B-1.25Bit.gguf461.9 MB
• imgs/main_result.png3.8 MB
• imgs/logo-zh.png69.9 KB
• imgs/logo-en.png65.9 KB
• train/data/example_data.jsonl27.8 KB
• train/deepspeed_support/train.py25.7 KB
• train/tools/convert_ckpt_to_outer.py23.5 KB
• train/tools/check_converted.py15.6 KB
• README.md15.4 KB
• train/README.md15.4 KB
• train/deepspeed_support/train_dense.py14.9 KB
• README_CN.md14.6 KB
• train/README_CN.md14.2 KB
• LICENSE.txt11.7 KB
• train/llama_factory_support/hy_v3_patches.py8.8 KB
• train/llama_factory_support/convert_zero_to_hf.sh5.9 KB
• train/deepspeed_support/train_dense_lora.sh5.1 KB
• train/deepspeed_support/train_dense.sh4.9 KB
• train/llama_factory_support/train_lf_dense.sh4.2 KB
• train/llama_factory_support/train_lf.sh3.9 KB
• train/llama_factory_support/hy_dense_template.py3.6 KB
• train/deepspeed_support/train_lora.sh3.6 KB
• train/deepspeed_support/train.sh3.5 KB
• train/llama_factory_support/train_hy_dense.py3.0 KB
• train/deepspeed_support/merge_lora_weight.py2.5 KB
• train/llama_factory_support/train_hy_v3.py2.5 KB
• train/llama_factory_support/hy_v3_template.py1.9 KB
• .gitattributes1.7 KB
• train/llama_factory_support/hy_v3_lora_sft.yaml1.2 KB
• train/llama_factory_support/hy_dense_1_8b_lora_sft.yaml1.2 KB
• train/llama_factory_support/hy_dense_7b_lora_sft.yaml1.2 KB
• train/deepspeed_support/ds_zero3_no_offload.json1.1 KB
• train/deepspeed_support/ds_zero3_offload.json1.1 KB
• train/llama_factory_support/hy_dense_1_8b_full_sft.yaml1.1 KB
• train/llama_factory_support/hy_v3_full_sft.yaml1.1 KB
• train/llama_factory_support/hy_dense_7b_full_sft.yaml1.1 KB
• train/llama_factory_support/dataset_info.json974 B
• train/llama_factory_support/ds_zero3_offload.json954 B
• train/deepspeed_support/ds_zero3_offload_no_auto.json944 B
• train/llama_factory_support/ds_zero2_offload.json892 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולשלב אותו במוצרים סגורים בלי לשלם תמלוגים, כל עוד שומרים על הודעות זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗