פיתוח וקוד · לא צוין
A simple Python implementation of the ReAct pattern for LLMs
המדריך מסביר איך לקחת את מודלי LLaMA של פייסבוק ולהריץ אותם על מחשב מק מקומי בעזרת פרויקט llama.cpp שנכתב בשפת C++. המודלים האלה מגיעים בגדלים שנעים בין שבעה מיליארד לשישים וחמישה מיליארד פרמטרים, והם פועלים ישירות על המעבד בלי להסתמך על שרתי ענן.
מה ששונה כאן הוא היכולת לכווץ מודל שלם לקובץ של פחות מארבעה גיגה בייט ולהריץ אותו על חומרת צרכנים רגילה. במקום להמתין לשירותי רשת חיצוניים, מקבלים ביצועים מקומיים שמשתמשים בליבות המעבד של המחשב.
- פיתוח וקוד
- לא צוין
- ממשק באנגלית
דירוג הקהילה
תהיו הראשונים לדרג.
איך הדירוג עובד+
הדירוג פתוח רק למי שמחובר עם חשבון גוגל, דירוג אחד לכל אדם לכל כלי. זו הדרך שלנו לוודא שמדובר באדם אמיתי: היא אינה מוכיחה שהמדרג השתמש בכלי, וזה הבדל שכדאי לזכור כשקוראים ממוצע.
מי שכותב ביקורת מוצג בשמו הפרטי בלבד, כפי שהוא מופיע בחשבון גוגל. מעבר לזה לא נשמר דבר: לא שם משפחה, לא כתובת דוא״ל ולא תמונה: רק גיבוב חד־כיווני של מזהה החשבון, שמאפשר לכם לשנות את הדירוג שלכם ולא מאפשר לנו לדעת מי אתם.
ביקורת אינה יכולה להכיל קישורים, כתובות דוא״ל, מספרי טלפון או שמות משתמש. זה לא סינון תוכן, זה מה שמונע ממקום כזה להפוך ללוח מודעות.
- תמחור
- לא צוין
- קטגוריה
- פיתוח וקוד
- שפת האתר
- אנגלית
- כתובת
- til.
simonwillison. net - נבדק
- 2026-09-09
הסקירה
מורידים קובץ משקלים של 240GB, מקמפלים קוד C++ במחשב המקומי, מריצים סקריפט המרה ב־Python ומקבלים קובץ מכווץ בגודל 3.9GB שמייצר טקסט ישירות מהטרמינל. הפרויקט הזה מאפשר להריץ מודלים של LLaMA בגרסאות 7B ו־13B על מחשב נייד מסוג Apple Silicon בלי שום חיבור לענן ובלי לשלם לפי טוקן. המערכת נשענת על llama.cpp כדי לעקוף את הצורך במעבדים גרפיים יקרים. בגרסת 7B מודל מכווץ ב־4 ביט מגיב תוך שניות בודדות לשאילתות טקסט ישירות מהשורה של הפקודה.
הביצועים המקומיים מפתיעים.
כדי שהקוד יעבוד, תצטרכו מחשב מק עם מעבד M1 או M2, כלי פיתוח של xcode, סביבת Python 3.10 וגישה לקבצי המשקלים הרשמיים או מקישור ביטורנט. התהליך דורש היכרות בסיסית עם שורת הפקודה, התקנת ספריות כמו torch, numpy ו־sentencepiece, והרצת פקודת make כדי לקמפל את הפרויקט. מי שמחפש ממשק כפתורים פשוט לא ימצא כאן מענה. מה שבאמת מפריע כאן הוא חוסר היציבות בסביבות עבודה שונות. ב־Python 3.11, למשל, אין חבילה מוכנה של torch וצריך לעקוף את המגבלה עם גרסאות פיתוח ליליות.
איך זה מתנהג בפועל
הכלי מייצר טקסט על ידי השלמת משפטים פתוחים ולא עונה לשאלות ישירות. המודל הזה לא עבר התאמה להוראות אנושיות, ולכן הוא לא יודע לסכם טקסט כשמבקשים ממנו בצורה ישירה או לחלץ נקודות עיקריות כמו ChatGPT. בניסוח שאילתה להשלמת עובדה היסטורית הוא מחזיר פרטים מדויקים, ובהשלמת חתימת פונקציה הוא פולט קוד Python תקין שעובד. לעומת זאת, ניסיונות לבקש רעיונות למשחקי מילים יצירתיים הניבו תוצאות חסרות היגיון לחלוטין. הוא פשוט ממשיך את התבנית שהוא קיבל בלי להבין את המטרה.
שלבי ההתקנה וההרצה
- 01שכפול המאגר וקימפול הקוד
- 02המרת מודל לפורמט ggml
- 03כימות הקובץ לפורמט 4-bit
- 04הרצת שאילתה דרך הטרמינל
המודל דורש כתיבה זהירה.
צריכת המשאבים במהלך הריצה של מודל 13B נשארת סביב 4GB של זיכרון עבודה, אך מעמיסה שמונה ליבות מעבד ומגיעה ל־748% ניצול במעקב המערכת. בעבודה על מודל 13B יש לבצע את שלב הכימות פעמיים בנפרד עבור שני קבצים שונים לפני שמתקבל הקובץ הסופי להרצה. מי שרוצה להריץ מודלים גדולים יותר יצטרך זיכרון נרחב בהרבה, כאשר הבדיקה בוצעה על מחשב בעל 64GB זיכרון. לא הייתי משתמש בזה למשימות של כתיבה שוטפת או סיעור מוחות, כי איכות הטקסט עדיין דורשת סינון כבד.
עלויות, תאימות ועברית
הקוד פתוח לחלוטין וזמין ללא עלות, אך מחירי החומרה והתשתית חלים עליכם בלבד. אין כאן מנוי חודשי, אין תשלום לפי טוקן ואין מחירון נסתר, פשוט מורידים ומריצים. ההשקעה היחידה היא במחשב תואם עם מספיק זיכרון ונפח אחסון פנוי לקבצים הכבדים. עבור רוב המשתמשים שאינם מפתחים, רף הכניסה הטכני מייקר את העסק בזמן עבודה. אין באתר שום מידע על תמיכה בעברית, וכל הבדיקות שנערכו מבוססות על קלט ופלט באנגלית בלבד. סביר להניח שהביצועים בשפות שאינן אנגלית יהיו מוגבלים מאוד.
- מחיר תוכנהקוד פתוח חינם
- דרישות חומרהמחשב Mac עם סיליקון
- ממשק משתמששורת פקודה בלבד
הפתרון מתאים למפתחים בלבד.
הוא מיועד לאנשים שרוצים לחקור ריצה מקומית של מודלי שפה, לבדוק תאימות חומרה או לפתח יישומים עצמאיים שלא תלויים ברשת חיצונית. הוא אינו מתאים למי שצריך עוזר וירטואלי יומיומי למשרד, מנהל משימות או כלי לניסוח הודעות ודוחות. זה שווה את זה רק אם יש לכם צורך מובהק בפרטיות מוחלטת של הנתונים או עניין טכני ישיר בהנדסת מודלים. אם אתם מצפים לתחליף ישיר ומוכן לשימוש עבור הכלים המסחריים הגדולים, תתאכזבו מהתוצאות שתקבלו כרגע מהפקודות.
מה A simple Python implementation of the ReAct pattern for LLMs
עושה
מתחילים בהורדת המודלים המקוריים, חבילה כוללת של 240 גיגה בייט שמכילה את כל הגדלים, או משיגים גישה דרך טופס של פייסבוק. משכפלים את המאגר מגיטהאב, מקמפלים את קוד ה־C++ עם פקודת make, ומתקינים ספריות פייתון כמו torch, numpy ו־sentencepiece לצורך ההמרה.
לאחר מכן מריצים סקריפט שממיר את קובץ המודל לפורמט ggml ב־16 ביט, ואז מכווצים אותו ל־4 ביט לקובץ סופי של 3.9 גיגה בייט במודל 7B. לבסוף מריצים פקודת טרמינל עם דגלים לכמות התהליכים, כמות הטוקנים והפרומפט, והמודל מייצר את הטקסט ישירות בחלון הפקודה.
כמה זה
עולה
האתר לא מפרסם מחיר לכלי עצמו, הקוד פתוח בחינם אך הוא דורש מחשב מק חזק עם מעבד אפל סיליקון.
למי זה
מתאים
זה מתאים למפתחים ואנשי טכנולוגיה שיש להם מקבוק עם מעבדי M1 או M2 ורוצים לעשות ניסויים עם מודלי שפה על המחשב שלהם. מי שיודע לעבוד עם טרמינל, פייתון וקימפול קוד ימצא כאן כר פורה לבדיקות מהירות בלי לשלם על שרתים.
זה לא מיועד למי שמחפש חלופה מוכנה לצ'אטבוט או למי שצריך תוצאות עסקיות מדויקות בלחיצת כפתור. המודל הבסיסי לא עבר התאמה להוראות אנושיות, ולכן הוא מתקשה לסכם טקסטים או לענות להנחיות פשוטות בצורה טבעית.
מה לבדוק
לפני שמתחייבים
לפני שמתחילים, כדאי לשים לב שנפח ההורדה הראשוני עצום ועומד על 240 גיגה בייט לכל המשקלים, מה שדורש חיבור אינטרנט מהיר ומקום פנוי בדיסק. בנוסף, המודלים האלה משלימים טקסט ולא עונים להוראות ישירות, כך שאי אפשר פשוט לבקש מהם לסכם מסמך ולקבל תוצאה טובה בלי ניסוח פרומפטים מורכב.
ההרצה של מודל 13B מאמצת את המעבד בלמעלה משבע מאות אחוזים ולוקחת כארבעה גיגה בייט זיכרון עבודה. אין בטקסט שום מידע על תמיכה בעברית, כך שלא מומלץ לבנות על זה לעיבוד טקסטים מקומיים לפני שבודקים את יכולות השפה בפועל.
מה אומרים
המשתמשים
עוד אף אחד לא כתב על A simple Python implementation of the ReAct pattern for LLMs כאן. אם השתמשתם בA simple Python implementation of the ReAct pattern for LLMs, השורה הראשונה היא שלכם.
מה A simple Python implementation of the ReAct pattern for LLMs
אומר על עצמו
See also: Large language models are having their Stable Diffusion moment right now .
מהאתר של A simple Python implementation of the ReAct pattern for LLMs, נקרא ב־2026-09-09. הטקסט הוא שלהם.
אנחנו לא מתרגמים תיאורי שיווק ומגישים אותם ככתיבה שלנו. שיטת העבודה.
שאלות
נפוצות
האם אפשר להשתמש בפייתון 3.11 כדי לבצע את ההמרה?
במקור חבילת torch לא תמכה בגרסה הזו בצורה חלקה, אך יש אפשרות להתקין גרסת פיתוח מיוחדת של פייטורץ' דרך שרתי הלילה שלהם כדי לעבוד עם 3.11.
כמה כוח עיבוד המחשב צורך בזמן הרצת מודל 13B?
בבדיקה שנעשתה עם שמונה תהליכים, המודל ניצל כארבעה גיגה בייט זיכרון והציג צריכת מעבד של 748 אחוזים במוניטור הפעילות.
מה A simple Python implementation of the ReAct pattern for LLMs עושה?
המדריך מסביר איך לקחת את מודלי LLaMA של פייסבוק ולהריץ אותם על מחשב מק מקומי בעזרת פרויקט llama.cpp שנכתב בשפת C++. המודלים האלה מגיעים בגדלים שנעים בין שבעה מיליארד לשישים וחמישה מיליארד פרמטרים, והם פועלים ישירות על המעבד בלי להסתמך על שרתי ענן. מה ששונה כאן הוא היכולת לכווץ מודל שלם לקובץ של פחות מארבעה גיגה בייט ולהריץ אותו על חומרת צרכנים רגילה. במקום להמתין לשירותי רשת חיצוניים, מקבלים ביצועים מקומיים שמשתמשים בליבות המעבד של המחשב.
האם A simple Python implementation of the ReAct pattern for LLMs חינמי?
באתר של A simple Python implementation of the ReAct pattern for LLMs לא נמצא מידע ברור על תמחור בזמן הבדיקה (2026-09-09).
האם A simple Python implementation of the ReAct pattern for LLMs תומך בעברית?
האתר של A simple Python implementation of the ReAct pattern for LLMs מוגש באנגלית. זה לא אומר שהכלי לא יעבוד עם טקסט בעברית, אבל זה כן אומר שהוא לא נבנה סביבה.
יש חלופות ל־A simple Python implementation of the ReAct pattern for LLMs?
כן. באתר יש 363 כלים בקטגוריית פיתוח וקוד, וחלקם מוצגים בתחתית העמוד הזה. ההשוואה שכדאי לעשות היא בין תמחור, שפת הממשק והתאמה למה שאתם צריכים לעשות, לא בין רשימות תכונות.
כלים דומיםבפיתוח וקוד
כל 363 הכלים-
קוד פתוחAForge.NET
ספריית קוד פתוח ב־.NET לראייה ממוחשבת, עיבוד תמונה ולמידת מכונה.
-
קוד פתוחAgenta
סביבת עבודה בקוד פתוח לבניית סוכנים, שיפורם ושיתופם.
-
יש מסלול חינםAgentDock
סוכן שירות שמחליף מוקד תמיכה בכל הערוצים, עם תבניות לפי ענף.
-
קוד פתוחAgentset
פלטפורמת RAG בקוד פתוח: תשובות מבוססות מסמכים, בלי להרכיב תשתית.
-
קוד פתוחAI Code Completion by DeepCode
סריקת קוד סטטית לאיתור ותיקון אוטומטי של חולשות אבטחה בזמן הפיתוח.
-
לא צויןAI Code Convert
מתרגם קוד בין שפות תכנות בלחיצה: פייתון, ג׳אווהסקריפט, C++ ועוד.