Phi-3-mini-4k-instruct-onnx

מה זה

המאגר הזה מכיל גרסאות של המודל הקטן במשפחת פאי שלוש שעברו כיול והמרה לפורמט אונקס כדי לרוץ במהירות עם אונקס ראנטייים. האימון המקורי התבסס על שילוב של מידע סינתטי ואתרים מסוננים עם דגש על יכולות היגיון, לצד כוונון עדין ואופטימיזציית העדפות כדי לשפר מענה להוראות ובטיחות. המאגר כולל תצורות שונות, החל מגרסאות מכוילות לארבעה ביטים שמותאמות לכרטיסים של אנבידיה, אינטל ו־AMD תחת חלונות, ועד גרסאות למעבדים רגילים וטלפונים ניידים.

במבחני הביצועים של מיקרוסופט, המנוע מציג יתרון מהירות משמעותי מול פייטארץ'. למשל, בהרצה על כרטיס A100 בתצורת ארבעה ביטים עם פרומפט קצר, אונקס הגיע לקצב של 218 טוקנים בשנייה לעומת כעשרים בלבד בפייטארץ'. מצד שני, מול מנועים מקומיים כמו לאמה סי פי פי היתרון משתנה לפי העומס, וכשמריצים פרומפטים ארוכים של אלפיים טוקנים על המעבד, לאמה סי פי פי דווקא הציג יתרון קל עם תשעה טוקנים בשנייה לעומת שבעה וחצי באונקס.

מתאים ל

• עוזר מקומי למחשבי קצה

  ריצה מקומית על כרטיסי מסך מודרניים בחלונות תוך ניצול תאימות DirectML.

• הסקה מהירה באפליקציות שרת

  קבלת קצבי תגובה גבוהים במיוחד בכרטיסי אנבידיה בזכות כיול לארבעה ביטים.

• עיבוד טקסט במכשירים ניידים

  הרצה מקומית על גבי מעבדי טלפונים תומכים באמצעות גרסאות מכוילות וקלות.

איפה זה נופל

חלון ההקשר במודל הזה מוגבל לארבעת אלפים טוקנים בלבד, כך שהוא לא מתאים למסמכים ארוכים, ספרים או קוד מורכב מדי. בנוסף, על מעבדים רגילים קצב היצירה נע בין שבעה לחמישה עשר טוקנים בשנייה בלבד, מה שמורגש היטב בזמן אמת. תצטרכו לבדוק בעצמכם את איכות הפלט בעברית, מאחר שהתיעוד מתמקד בביצועי חומרה בלבד ולא מציין יכולות רב־לשוניות.

אותה משפחה

Phi-3-mini יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

הרצת המודל מתבצעת דרך הממשק היעודי של אונקס ראנטייים בפייתון, סי או סי פלוס פלוס, תוך שימוש בחבילות ההרצה המתאימות לחומרה שלכם. תחת חלונות נדרש כרטיס מסך שתומך בדירקט אקס 12 ולפחות ארבעה ג'יגה בייט זיכרון משותף. למאיצי אנבידיה דרוש כרטיס עם יכולת חישוב 7.0 ומעלה, כשהבדיקות של החברה נעשו בין היתר על כרטיס RTX 4090 ומעבד אינטל Core i9.

אם אתם רצים על מעבדים רגילים או מכשירי מובייל כמו גלקסי אס 21, יש גרסת ארבעה ביטים עם דרגות דיוק שונות, כאשר רמה אחת מתעדפת דיוק ורמה ארבע ביצועים. אם אין לכם חומרה פיזית תואמת ואתם צריכים לטפל בפניות מקביליות רבות מקוראים שונים, שרת ענן ייעודי יחסוך את כאב הראש של ניהול הזיכרון המקומי.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/Phi-3-mini-4k-instruct-onnx")
print(pipe("שלום"))

הקבצים

56 קבצים במאגר, 16.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• cuda/cuda-fp16/phi3-mini-4k-instruct-cuda-fp16.onnx.data7.6 GB
• cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/phi3-mini-4k-instruct-cpu-int4-rtn-block-32-acc-level-4.onnx.data2.7 GB
• cpu_and_mobile/cpu-int4-rtn-block-32/phi3-mini-4k-instruct-cpu-int4-rtn-block-32.onnx.data2.7 GB
• cuda/cuda-int4-rtn-block-32/phi3-mini-4k-instruct-cuda-int4-rtn-block-32.onnx.data2.3 GB
• directml/directml-int4-awq-block-128/model.onnx.data2.1 GB
• directml/directml-int4-awq-block-128/model.onnx2.1 MB
• cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/tokenizer.json1.9 MB
• cpu_and_mobile/cpu-int4-rtn-block-32/tokenizer.json1.9 MB
• cuda/cuda-fp16/tokenizer.json1.9 MB
• cuda/cuda-int4-rtn-block-32/tokenizer.json1.9 MB
• directml/directml-int4-awq-block-128/tokenizer.json1.9 MB
• cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/tokenizer.model499.7 KB
• cpu_and_mobile/cpu-int4-rtn-block-32/tokenizer.model499.7 KB
• cuda/cuda-fp16/tokenizer.model499.7 KB
• cuda/cuda-int4-rtn-block-32/tokenizer.model499.7 KB
• directml/directml-int4-awq-block-128/tokenizer.model499.7 KB
• cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/phi3-mini-4k-instruct-cpu-int4-rtn-block-32-acc-level-4.onnx231.3 KB
• cuda/cuda-int4-rtn-block-32/phi3-mini-4k-instruct-cuda-int4-rtn-block-32.onnx223.2 KB
• cpu_and_mobile/cpu-int4-rtn-block-32/phi3-mini-4k-instruct-cpu-int4-rtn-block-32.onnx222.9 KB
• cuda/cuda-fp16/phi3-mini-4k-instruct-cuda-fp16.onnx171.2 KB
• LICENSE12.5 KB
• README.md10.8 KB
• configuration_phi3.py10.4 KB
• cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/configuration_phi3.py10.4 KB
• cpu_and_mobile/cpu-int4-rtn-block-32/configuration_phi3.py10.4 KB
• cuda/cuda-fp16/configuration_phi3.py10.4 KB
• cuda/cuda-int4-rtn-block-32/configuration_phi3.py10.4 KB
• directml/directml-int4-awq-block-128/configuration_phi3.py10.4 KB
• data_summary_card.md4.6 KB
• cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/tokenizer_config.json3.4 KB
• cpu_and_mobile/cpu-int4-rtn-block-32/tokenizer_config.json3.4 KB
• cuda/cuda-fp16/tokenizer_config.json3.4 KB
• cuda/cuda-int4-rtn-block-32/tokenizer_config.json3.4 KB
• directml/directml-int4-awq-block-128/tokenizer_config.json3.4 KB
• cuda/cuda-int4-rtn-block-32/genai_config.json1.7 KB
• cuda/cuda-fp16/genai_config.json1.7 KB
• directml/directml-int4-awq-block-128/genai_config.json1.6 KB
• cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/genai_config.json1.6 KB
• .gitattributes1.6 KB
• cpu_and_mobile/cpu-int4-rtn-block-32/genai_config.json1.6 KB

הרישיון

הפרויקט מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים סגורים בלי תשלום תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗