GPT
הוספת כלי
G

Gemma-3-R1984-27B-Q4_K_M-GGUF

קוד פתוח

openfreegemma2025-03-30

  • transformers
  • gguf
  • llama-cpp
  • gguf-my-repo
  • image-text-to-text

גרסת GGUF מכווצת למודל מולטימודלי שמקבל תמונה וטקסט. המטרה כאן היא להריץ מודל של 27B מקומית דרך llama.cpp בלי להחזיק משאבי ענן כבדים.

  • 15.4 GBמשקל הקבצים
  • 160הורדות בחודש
  • 129לייקים

מה זה

מדובר בהמרה של המודל VIDraft/Gemma-3-R1984-27B לפורמט GGUF ברמת כימות Q4_K_M. המודל שייך למשפחת Gemma 3 ומיועד למשימות של תמונה וטקסט יחד, כך שהוא יודע לנתח קלט חזותי ולהחזיר תשובות כתובות. הוא תומך באופן רשמי בשפות כמו אנגלית, ספרדית, ערבית, רוסית, יפנית, קוריאנית, סינית והינדי.

המשקל הכולל של הקבצים עומד על 15.4 GB שמחולקים לשלושה קבצים. ההמרה נעשתה בעזרת הכלי של ggml.ai ישירות מתוך המשקלים המקוריים, מה שמאפשר להריץ מודל 27B על מחשב יחיד במקום להסתמך על שרתי ענן ייעודיים. כרטיס המודל לא כולל תוצאות מדידה או בנצ'מרקים עצמאיים, כך שקשה לדעת מה השינוי המדויק לעומת גרסת הבסיס של גוגל.

מתאים ל

  • ניתוח תמונות מקומי

    קבלת תמונה ושאילתה בטקסט בלי להוציא מידע לרשת, תוך ריצה ישירה על כלי llama.cpp.

  • עבודה רב-לשונית ללא ענן

    משימות שפה בערבית, רוסית או אנגלית ישירות מהמחשב בפורמט מכווץ של 15.4 GB.

  • שרת הסקה פרטי

    הרמת שרת מקומי בעזרת llama-server עם חלון הקשר של 2048 עבור יישומים פנימיים.

איפה זה נופל

עברית לא מופיעה ברשימת השפות הנתמכות של המודל, ולכן לא הייתי בונה עליו לעיבוד מסמכים או שאלות בעברית בלי בדיקה מוקדמת. בנוסף, מדובר בכימות Q4_K_M של מודל שעבר התאמה על ידי צד שלישי, ויוצר המאגר לא פירט על מה הוא אומן או מה השינויים שנעשו בו. לפני שמשלבים אותו במערכת, חובה לבדוק איכות הבנת התמונה ודיוק הטקסט מול המקור.

שאלות
נפוצות

האם המודל יודע לקרוא ולענות בעברית?

השפה העברית לא מוגדרת במטא-דאטה של המודל. רשימת השפות כוללת שפות כמו אנגלית, ערבית, רוסית וספרדית. ייתכן שהוא יגיב בעברית מסוימת, אבל זה לא נתמך רשמית ולא מומלץ להסתמך על זה למוצר.

איך מריצים את שלושת הקבצים ששוקלים יחד 15.4 GB?

בפקודות ההרצה המובאות llama.cpp יודע לפנות לקובץ הראשי gemma-3-r1984-27b-q4_k_m.gguf ישירות מהמאגר של Hugging Face. הכלים המובנים של הספרייה מטפלים בחיבור החלקים ובטעינה לזיכרון.

איך מריצים

ההרצה נעשית דרך llama.cpp, שאפשר להתקין ישירות דרך brew על מק ולינוקס, או לקמפל ידנית מהקוד עם דגלי האצה לחומרה שלכם. מריצים את פקודת llama-cli או מעלים שרת מקומי עם llama-server, ומעבירים לו את המזהה ב־Hugging Face והקובץ gemma-3-r1984-27b-q4_k_m.gguf יחד עם גודל הקשר של 2048.

מאחר שהקבצים שוקלים 15.4 GB, תצטרכו מספיק זיכרון עבודה פנוי ב־RAM או בזיכרון הגרפי כדי לטעון אותו במלואו. אם המכשיר שלכם לא סוחב משקל כזה בזיכרון, עדיף לפנות ל־API חיצוני במקום לחנוק את המעבד המקומי.

ollama run hf.co/openfree/Gemma-3-R1984-27B-Q4_K_M-GGUF:Q4_K_M

הקבצים

3 קבצים במאגר, 15.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון gemma. מדובר ברישיון השימוש הייעודי של גוגל למשפחת מודלי ג'מה, שמתיר שימוש מסחרי בכפוף לתנאי השימוש והמגבלות של החברה. מי שמתכנן להפיץ את זה במוצר מחויב לוודא עמידה בהנחיות השימוש המותרות של גוגל.

  • שימוש מסחרי
  • שינוי הקוד
  • כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗