LLMSTXT.NEW

הסקירה

אתם מזינים כתובת אינטרנט לתוך תיבת הקלט ומקבלים קובץ טקסט מרוכז שמיועד לאימון מודלים ולהרצת שאילתות. הכלי הזה, שנקרא LLMs.txt generator v2, נשען על התשתית של Firecrawl כדי לסרוק אתרים ולשלוף מהם את המידע הנקי. הרעיון הוא לייצר קובץ מסוג llms.txt או llms-full.txt שמכיל את כל תוכן האתר בצורה שנוחה למודלי שפה, בלי רעשי רקע של עיצוב, תפריטים או סקריפטים מיותרים. בפועל, האתר מציע ממשק פשוט שמבקש כתובת URL, מאפשר להכניס מפתח גישה של Firecrawl ומפיק את הקובץ ישירות בדפדפן או דרך קריאת API ייעודית.

אבל יש פה עניין קריטי שאי אפשר להתעלם ממנו. ממשק ה-API הזה נמצא בתהליך הוצאה משימוש ולא יתוחזק יותר אחרי 30 ביוני 2025. המפתחים עצמם מודיעים שהם מפנים את המשתמשים אל נקודות הקצה הראשיות שלהם, ומפנים למאגר קוד פתוח בשם create-llmstxt-py שנמצא תחת mendableai ב-GitHub. המשמעות פשוטה: מדובר בפתרון זמני מאוד. מי שבונה עליו תהליכי עבודה אוטומטיים לשנים קדימה פשוט מניח את הבסיס על חול טובעני. זה שווה את זה רק אם אתם צריכים בדיקה מהירה עכשיו.

התלות במפתח החיצוני והעלויות

המפתח הוא Firecrawl.

כדי לייצר קובץ מלא של אתר, אתם חייבים להזין Firecrawl API key בתיבה המתאימה. האתר מציין במפורש שעבור חוויה טובה יותר ויצירה מלאה של llms-full.txt נדרש המפתח הזה, שכן השירות מוגדר כבתשלום. אין באתר מחירון גלוי או פירוט של מדרגות מחיר, מה שאומר שהתשלום אינו נקבע ישירות ב-llmstxt.new אלא נגזר מחשבון ה-Firecrawl שתצטרכו לפתוח ולממן בנפרד. זה יוצר חוסר שקיפות מוחלט לגבי כמה באמת תעלה לכם סריקה של אתר בינוני או גדול, כי העלויות תלויות במסלול שתרכשו אצל ספק התשתית החיצוני.

לא הייתי משתמש בזה לאתרים מורכבים. מה שבאמת מפריע כאן הוא שאין שום הסבר באתר לגבי טיפול בעברית, מגבלות קידוד או תמיכה בטקסט מימין לשמאל. אם האתר שלכם כולל עמודים בעברית, אין לדעת מראש איך הטקסט יחזור בקובץ המרוכז והאם תווים מיוחדים ייחתכו בדרך. האתר מנוסח כולו באנגלית, קהל היעד העיקרי הוא מפתחים דוברי אנגלית, ולכן קיימת אי ודאות לגבי איכות הפלט עבור שפות שאינן אנגלית. לפני שאתם מסתמכים עליו עבור תוכן מקומי, כדאי לכם לבדוק דף בודד ולראות מה יוצא.

החופש לבחור מוגבל.

למי זה מתאים כרגע

השירות הזה פונה בצורה ברורה למפתחים שרוצים להכין דאטה עבור מודלי שפה במהירות, בלי להקים מאפס מערך של סריקת רשת וחילוץ טקסטים. אם יש לכם כבר חשבון Firecrawl ואתם צריכים פתרון מיידי לחילוץ נתונים לקובץ טקסט פשוט, הכלי ייתן לכם מענה נקודתי בלי שתצטרכו לכתוב שורת קוד אחת. אתם מדביקים את הקישור, מפעילים ומקבלים תוצאה מוכנה לעבודה מול סביבות שונות של בינה מלאכותית, בדיוק כפי שהפורמט מתוכנן לעשות.

מצד שני, הוא ממש לא מתאים למשתמשים שאינם טכניים, וגם לא לצוותים שמחפשים תשתית יציבה לטווח ארוך. הודעת העזיבה הרשמית שמקבלת את פני הגולשים באתר מבהירה שהתמיכה עומדת להסתיים, ואין היגיון להטמיע כלי כזה במוצר חי. במקום להסתמך על הכתובת הזו, עדיף לפנות ישירות לפרויקט create-llmstxt-py שמציע את אותו הדבר בדיוק בקוד פתוח, או להשתמש ישירות ב-Firecrawl בלי הממשק המתווך הזה. העבודה דרך אתר שעומד להיסגר רק מוסיפה סיכון מיותר לתהליך הפיתוח שלכם.

אין פה תמיכה עתידית.

העובדה שניתן להפעיל את הפעולה גם דרך API הייתה יכולה להיות יתרון גדול, אך במצב הנוכחי היא חסרת משמעות למי שמתכנן קדימה. נקודת הקצה תישאר פעילה אך לא תתוחזק, מה שאומר שכל תקלה, שינוי במבנה הדפים ברשת או בעיה ברינדור יישארו ללא מענה מצד המפתחים של Mendable. אם אתם זקוקים לחילוץ חד פעמי של אתר מסוים ואין לכם כוח לפתוח טרמינל, אפשר להשתמש בו. בכל תרחיש אחר, חבל על הזמן שלכם.

• תמחור ישיראין מחירון גלוי
• מפתח חובהנדרש Firecrawl API
• תחזוקה רשמיתמסתיימת ביוני 2025