GPT
הוספת כלי
M

Mistral-Small-3.1-24B-Instruct-2503-Q4_K_M-GGUF

קוד פתוח

openfreeapache-2.02025-03-30

  • vllm
  • gguf
  • llama-cpp
  • gguf-my-repo
  • image-text-to-text

גרסת כימות של מודל מולטימודלי בגודל 24 מיליארד פרמטרים שרץ מקומית דרך llama.cpp. הוא מאפשר עיבוד תמונה וטקסט בלי להחזיק שרת כבד במיוחד.

  • 13.3 GBמשקל הקבצים
  • 482הורדות בחודש
  • 111לייקים

מה זה

מדובר בהמרה לפורמט GGUF של המודל מבית מיסטרל, שבוצעה על ידי משתמש בשם openfree באמצעות llama.cpp. המודל שוקל 13.3 גיגה בייט בכימות של ארבעה ביט, ומיועד למשימות של תמונה וטקסט יחד. הוא לא מודל טקסט בלבד, אלא יודע לקבל קלט חזותי ולהחזיר תשובות מבוססות טקסט.

ברשימת השפות הנתמכות מופיעות אנגלית, צרפתית, גרמנית, ספרדית, פורטוגזית, איטלקית, יפנית וקוריאנית. עברית לא נמצאת ברשימה הזו, ולכן מי שבונה עליו לעבודה בעברית צריך לקחת בחשבון שאין כאן התחייבות ליכולת טבעית בשפה. הייחוד העיקרי של הקובץ הזה הוא היכולת לקחת ארכיטקטורה של 24 מיליארד פרמטרים ולהריץ אותה ישירות במחשב מקומי או בשרת צנוע יחסית.

מתאים ל

  • ניתוח תמונות מקומי

    מאפשר לעבד קלט של תמונה וטקסט על חומרה עצמאית בלי להוציא מידע לרשת.

  • בוט רב לשוני

    מתאים לאפליקציות שפועלות בשפות נתמכות כמו אנגלית, צרפתית, יפנית או קוריאנית.

  • הרצה בקצה עם llama.cpp

    גרסת GGUF בכימות Q4 שמאפשרת עלייה מהירה ויציבה דרך שורת הפקודה.

איפה זה נופל

הכרטיס מציג רק הוראות הרצה כלליות של llama.cpp ולא כולל שום מבחני ביצועים, מדדי דיוק או תוצאות של פענוח תמונה בפועל. מעבר לזה, עברית נעדרת לחלוטין מרשימת השפות הרשמיות של המודל. אם אתם מתכננים לעבד איתו תמונות שמכילות טקסט בעברית או לבקש ניתוח מורכב, כדאי לבדוק אותו ידנית על דוגמאות אמיתיות לפני שמשלבים אותו במערכת.

שאלות
נפוצות

האם המודל מבין עברית?

עברית אינה מופיעה ברשימת השפות הנתמכות שפורסמה. הוא עשוי להבין מילים בסיסיות, אבל אי אפשר להסתמך עליו לפרויקט שדורש קריאה או כתיבה בעברית תקינה.

איזו חומרה מינימלית צריך בשביל להריץ אותו?

הקובץ תופס 13.3 גיגה בייט בזיכרון. תצטרכו כרטיס מסך ייעודי של 16 גיגה זיכרון וידאו, או מחשב מק עם לפחות 16 עד 24 גיגה זיכרון אחוד כדי להריץ אותו בקצב סביר.

איך מריצים

כדי להריץ אותו צריך כלי כמו llama.cpp דרך שורת הפקודה או שרת מקומי. הקבצים שוקלים יחד 13.3 גיגה בייט, כך שצריך כרטיס מסך עם לפחות 16 גיגה זיכרון כדי לטעון את כולו, או מחשב מק עם זיכרון אחוד מתאים. הדוגמה הרשמית מציגה הרצה עם חלון הקשר של 2048 טוקנים בלבד.

אם אין לכם כרטיס מסך מתאים ורוצים רק לבדוק תמונה פה ושם, כנראה שעדיף להשתמש בנקודת קצה מנוהלת בענן במקום להסתבך עם הידור מקומי של התוכנה.

ollama run hf.co/openfree/Mistral-Small-3.1-24B-Instruct-2503-Q4_K_M-GGUF:Q4_K_M

הקבצים

3 קבצים במאגר, 13.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר להשתמש בקבצים לצרכים מסחריים ופרטיים, לשנות אותם ולשלב אותם במוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗