gemma-4-12B-it-litert-lm
קוד פתוחlitert-communityapache-2.02026-06-02
גרסה מקומית של מודל בינוני מבית גוגל שתומכת בטקסט, תמונה ואודיו. היא מיועדת להרצה ישירה על מחשבי קצה בלי תלות ברשת.
- 17.6 GBמשקל הקבצים
- 12,742הורדות בחודש
- 52לייקים
מה זה
הקובץ מביא את Gemma 4 בגרסת 12B בפורמט litertlm שמותאם לסביבת LiteRT-LM. בניגוד לרוב המודלים במשקל הזה שמסתפקים בטקסט, הקובץ השלם מטפל גם בתמונות ובאודיו, ומשתמש בחיזוי מרובה טוקנים כדי להאיץ את התגובה.
המספרים מראים פערים חדים בין חומרות שונות. על כרטיס Nvidia 4090 מקבלים מהירות יצירה של 69 טוקנים לשנייה וטעינה ראשונית תוך 0.3 שניות, בעוד שעל מחשב נייד בסיסי כמו Macbook Air M4 הקצב יורד ל־15 טוקנים לשנייה וזמן התגובה הראשוני קופץ למעל תשע שניות. המודל יכול להגיע עד 128 אלף טוקנים בחלון ההקשר, אבל זה מותנה בזיכרון פנוי.
מתאים ל
- עיבוד מולטימדיה מקומי
ניתוח תמונות, קובצי שמע וטקסט על גבי מחשב שולחני חזק ללא העברת מידע רגיש לענן.
- יישומי דסקטופ לא מקוונים
הרצת סייען אישי או מענה אוטומטי במחשבי Windows, Mac או Linux בלי חיבור רשת פעיל.
- הרצה ניסיונית בדפדפן
שימוש בגרסת הרשת הייעודית להפעלת מודל טקסט בתוך Chrome ללא צורך בהתקנת שרת מקומי.
איפה זה נופל
הקובץ המלא דורש משאבים משמעותיים, ודפי המדידה מדגימים שבחומרה מוגבלת זמן ההמתנה לטוקן הראשון הופך לבלתי שמיש בשיחה חיה. בגרסת הדפדפן מאבדים לגמרי את היכולות של תמונה ואודיו ונשארים רק עם טקסט. בנוסף, חלון ההקשר הגבוה מותנה ישירות בזיכרון, ואם לא מגבילים ידנית את אורך השיחה המערכת עלולה לקרוס ממחסור בזיכרון.
שאלות
נפוצות
האם המודל תומך בתמונות וקול גם בהרצה דרך הדפדפן?
לא. גרסת הדפדפן היא מודל מוקטן ונפרד שמוגבל לטקסט בלבד בגלל מגבלות זיכרון. תמיכה בתמונה ואודיו קיימת רק בקובץ המלא שמיועד למערכות הפעלה רגילות.
האם מחשב נייד רגיל מספיק בשביל לעבוד איתו?
אפשר להריץ אותו, אבל הביצועים יהיו אטיים. על מחשב כמו Macbook Air עם 16 גיגה בייט, זמן ההמתנה לטוקן הראשון מגיע ל־9 שניות וקצב הייצור עומד על 15 טוקנים לשנייה בלבד.
איזו תוכנה צריך להתקין כדי לפתוח את הקובץ?
הקובץ מגיע בפורמט litertlm ומחייב התקנה של ספריית LiteRT-LM בגרסה 0.17 לפחות, שעובדת מעל מנוע LiteRT של גוגל.
איך מריצים
כדי להריץ אותו צריך להתקין את ספריית LiteRT-LM מגרסה 0.17 ומעלה. הקובץ המרכזי תופס קרוב ל־7 גיגה בייט בדיסק ודורש כ־8 גיגה בייט של זיכרון גרפי, כך שכרטיס מסך עם 16 גיגה בייט ומעלה יחזיק אותו בנוחות לצד המערכת.
קיימת גרסה נפרדת לדפדפן ששוקלת פחות מ־6 גיגה בייט, אבל היא מוגבלת לטקסט בלבד. אם אין לכם חומרה ייעודית עם מאיץ גרפי חזק, הרצה עצמית של מודל בגודל הזה תהיה אטית, ועדיף להשתמש ב־API מרוחק במקום לחכות שניות ארוכות לכל תשובה.
pip install -U huggingface_hub hf download litert-community/gemma-4-12B-it-litert-lm
הקבצים
5 קבצים במאגר, 17.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מופץ תחת רישיון apache-2.0. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה פנימית או כחלק ממוצר, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים