OmniNeural-4B
קוד פתוחNexaAIcc-by-4.02025-08-15
מודל מולטימודלי קומפקטי שמכוון ספציפית למעבדי NPU, ומעבד טקסט, תמונה ואודיו ישירות על המכשיר. הוא מתאים למי שחייב עבודה מקומית ללא רשת ורוצה תגובה מהירה מסוללה.
- 4.6 GBמשקל הקבצים
- 578הורדות בחודש
- 167לייקים
מה זה
המודל הזה נבנה מראש כדי לנצל רכיבי NPU במקום להישען על כרטיסי מסך כבדים. הוא מקבל קלט מעורב של תמונות, הקלטות קול וטקסט, ויודע לבצע השוואות בין קבצי אודיו, להסיק מסקנות מכמה תמונות במקביל או להפעיל פקודות לפי צילום.
בניגוד למודלים מקבילים בגודל דומה, הארכיטקטורה כאן מחליפה פעולות חישוב נפוצות כמו SiLU בפעולות ReLU ומבני קונבולוציה שמתאימים לחומרה הזו. לפי נתוני המפתחים, השינויים האלה מביאים לקידוד אודיו מהיר פי תשעה בהשוואה ל־Whisper, וקידוד תמונה מהיר פי 3.5 מול SigLIP. במבחני הערכה אנושית הם מדווחים על הובלה או שוויון בכ־75% מהמקרים מול מודלים כמו Gemma-3n ו־Qwen2.5-Omni.
מתאים ל
- עוזר מקומי למחשבי נייד
תמלול פגישות, ניתוח מסמכים חזותיים והפעלת פקודות ישירות על מעבד Snapdragon בלי לשלוח מידע לרשת.
- מערכות רכב ובטיחות
זיהוי סכנות בתא הנוסעים ומענה קולי מקומי בזמן אמת בלי תלות בחיבור אינטרנט רציף.
- אוטומציה בתעשייה ורובוטיקה
בדיקת פגמים מבוססת תמונה והוראות קוליות ברצפת ייצור עם מכשירי קצה חסכוניים בחשמל.
איפה זה נופל
המגבלה הכי משמעותית היא תאימות החומרה הצרה. כרגע הוא נעול לחלוטין ל־NPU של קוואלקום, בלי תמיכה במעבדי אפל או כרטיסי מסך סטנדרטיים. מעבר לכך, המפתחים מודים שהמודל עבר אופטימיזציה בעיקר לאנגלית. מי שבונה על פענוח דיבור או ניתוח טקסט בעברית יגלה מהר מאוד שהוא לא שם עדיין.
שאלות
נפוצות
אפשר להריץ את המודל על מק עם מעבד M-series?
לא כרגע. התמיכה ב־NPU של אפל עדיין מוגדרת בפיתוח, והגרסה הנוכחית דורשת חומרת קוואלקום וערכת פיתוח ייעודית ל־Windows arm64.
איך המודל מתמודד עם שפות שאינן אנגלית?
בצורה מוגבלת מאוד. לפי המפתחים המודל מותאם בשלב זה בעיקר לאנגלית, כך שלשימושים בעברית הוא לא מומלץ כרגע.
איך מריצים
כרגע אין לכם מה לנסות להריץ אותו על מחשב רגיל עם כרטיס של אנבידיה. הוא פועל אך ורק על מעבדי NPU של קוואלקום, בעיקר מכשירי Snapdragon AIPC תחת Windows בגרסת arm64, לצד הדגמה על מכשיר סמסונג S25 אולטרה.
כדי להריץ, מורידים את ה־SDK של Nexa, מייצרים טוקן גישה באתר שלהם, ומפעילים את פקודת ההרצה מהטרמינל עם אפשרות לחיבור ישיר של המיקרופון או גרירת קבצים. אם אין לכם חומרה ייעודית של קוואלקום, אין לכם איך להריץ אותו כרגע ועדיף להישאר עם שירות ענן.
pip install -U huggingface_hub hf download NexaAI/OmniNeural-4B
הקבצים
26 קבצים במאגר, 4.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- weights-8-8.nexa1.2 GB
- weights-2-8.nexa1.2 GB
- weights-4-8.nexa908.2 MB
- weights-1-8.nexa770.3 MB
- weights-7-8.nexa649.3 MB
- assets/MOBILE_50MB.mp440.2 MB
- assets/PC_Demo_Audio.mov29.3 MB
- assets/PC_demo_2_image.mov23.2 MB
- assets/PC_Demo_Agent.mov22.7 MB
- weights-5-8.nexa14.3 MB
- files-1-1.nexa12.2 MB
- weights-6-8.nexa5.6 MB
- weights-3-8.nexa4.6 MB
- LICENSE7.3 KB
- README.md7.1 KB
- .gitattributes2.1 KB
- audio/attachments-3-3.nexa642 B
- vit/attachments-2-3.nexa642 B
- vlm/attachments-2-3.nexa642 B
- audio/htp_backend_ext_config.json626 B
- vit/htp_backend_ext_config.json626 B
- vlm/htp_backend_ext_config.json626 B
- llm/attachments-1-3.nexa443 B
- llm/htp_backend_ext_config.json427 B
- nexa.manifest85 B
- config.json0 B
הרישיון
יש פער בין הגדרות המטא־דאטה לטקסט המפורש בכרטיס המודל. בעוד שהעמוד מסומן ברישיון חופשי, הטקסט מבהיר שמדובר ברישיון CC BY-NC 4.0. המשמעות היא שימוש לא מסחרי בלבד, ומחייב מתן קרדיט. כדי לשלב אותו במוצר מסחרי צריך לפנות ישירות לחברה.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס