בוטים אינם בהכרח בעיה. מנועי חיפוש, שירותי ניטור וכלי תצוגה מקדימה משתמשים בבוטים כדי לגשת לאתר שלכם באופן לגיטימי. הבעיה מתחילה כאשר תעבורה אוטומטית סורקת חולשות, מנסה לנחש סיסמאות, מעמיסה על דפי מוצר או שולחת טפסים מזויפים. מדריך לחסימת גישת בוטים צריך לכן להתחיל בהבחנה בין בוט מועיל לבין פעילות שפוגעת במהירות, באבטחה ובזמינות של האתר.

לאתר עסקי, במיוחד אתר וורדפרס או חנות מקוונת, חסימה לא מדויקת עלולה לפגוע גם בלקוחות, במערכות סליקה, בסריקת מנועי חיפוש ובכלי שיווק. המטרה אינה לחסום כל גישה אוטומטית, אלא לבנות שכבות הגנה שמזהות התנהגות חריגה ומצמצמות אותה לפני שהיא הופכת לתקלה עסקית.

מתי בוטים הופכים לסיכון תפעולי?

תעבורה אוטומטית מזיקה אינה תמיד נראית כמו מתקפה דרמטית. לעיתים היא מתחילה בעשרות או במאות בקשות לדקה לאותו דף, לנקודת התחברות או לקובץ שאינו אמור להיות נגיש. בשרת משותף הדבר עלול להאט את האתר כולו. בשרת VPS או בענן, העומס עשוי להגדיל צריכת משאבים ולפגוע בביצועי מסד הנתונים.

סימנים שכדאי לבדוק כוללים עלייה פתאומית בשימוש במעבד או בזיכרון, ריבוי ניסיונות התחברות כושלים, גידול חריג בתעבורה ממדינות שאינן רלוונטיות לפעילותכם, ושליחת טפסים עם תוכן דומה או חסר משמעות. גם גישה חוזרת לכתובות כמו עמוד הכניסה לניהול, ממשקי API, אזור חיפוש או דפי תשלום מחייבת בדיקה.

חשוב לזכור: כתובת IP אחת אינה תמיד משתמש אחד. ספקי אינטרנט, משרדים גדולים ורשתות סלולריות עשויים להוציא גולשים רבים מאותה כתובת. לכן חסימה גורפת לפי IP היא פתרון שימושי רק כאשר יש דפוס ברור ומתועד.

מדריך לחסימת גישת בוטים: מתחילים בזיהוי

לפני שמגדירים חסימה, יש לבסס החלטה על נתונים. בדקו את יומני הגישה של האתר והשרת: אילו כתובות מבוקשות שוב ושוב, מהו קצב הבקשות, אילו קודי תגובה מוחזרים, ומהו סוכן המשתמש שמדווח הדפדפן או הבוט. סוכן משתמש לבדו אינו הוכחה, משום שאפשר לזייף אותו, אבל הוא מספק רמז שימושי לצד נתונים נוספים.

הבחינו בין שני מצבים. במצב הראשון, מדובר בתעבורה לגיטימית אך מוגזמת, למשל סורק שמבקר באתר בקצב גבוה מדי. במצב השני, יש אינדיקציות לפעילות עוינת: ניסיונות כניסה רבים, סריקת קבצים נפוצים, פניות לנתיבים שאינם קיימים או ניסיון לשלוח כמויות גדולות של טפסים. הטיפול בכל מצב שונה.

כדאי לתעד את הממצאים במשך כמה שעות או ימים, בהתאם לחומרה. כך אפשר להימנע מחסימת כתובות של שירות חיוני או מנוע חיפוש. במקרה של עומס חריף, כמובן, יש לפעול מיידית ולהמשיך את החקירה לאחר ייצוב השירות.

קובץ robots.txt אינו כלי אבטחה

קובץ robots.txt יכול לבקש מבוטים תקינים לא לסרוק אזורים מסוימים באתר, כגון עמודי חיפוש פנימיים או מסננים שיוצרים אינספור כתובות. זהו כלי יעיל לניהול סריקה ולצמצום עומס מיותר, אך הוא אינו מנגנון חסימה.

בוט זדוני פשוט יתעלם מההנחיות בקובץ. יתרה מכך, ציון נתיבים רגישים בקובץ עלול להבליט אותם בפני גורמים שאינם אמורים לגשת אליהם. אזורים כמו לוח ניהול, גיבויים או קבצי תצורה צריכים להיות מוגנים ברמת היישום והשרת, ולא רק באמצעות הוראת סריקה.

בונים הגנה בשכבות

הגנה יעילה משלבת כמה מנגנונים, כאשר כל אחד מטפל בזווית אחרת של הבעיה. אין צורך להפעיל כל הגדרה אפשרית מהיום הראשון. עדיף להתחיל באמצעים שמטפלים בסיכון שזוהה, לעקוב אחר ההשפעה ולהדק את המדיניות בהדרגה.

הגבלת קצב בקשות

הגבלת קצב, או Rate Limiting, מאפשרת לקבוע כמה בקשות יכולה כתובת, משתמש או חיבור לבצע בפרק זמן מוגדר. אם כתובת שולחת מאות בקשות לדף התחברות בתוך דקות, אין סיבה סבירה לאפשר לה להמשיך באותו קצב.

הגדרה טובה אינה חייבת לחסום מיד. אפשר לבחור בהאטה, באתגר אימות או בחסימה זמנית. עבור חנות מקוונת, כדאי להגדיר מדיניות זהירה יותר באזורי קטלוג וחיפוש, שבהם לקוחות אמיתיים עשויים לדפדף במהירות, ומדיניות מחמירה יותר בעמוד הכניסה לניהול או בנקודות שאינן אמורות לקבל שימוש ציבורי נרחב.

הגנה על טפסים ודפי התחברות

דפי התחברות, טפסי יצירת קשר, הרשמה לניוזלטר ותהליכי תשלום הם יעדים נפוצים לבוטים. אימות מסוג CAPTCHA יכול לסייע, אך יש להשתמש בו באופן מדוד. אתגר שמוצג לכל גולש בכל כניסה עלול לפגוע בהמרות ובנגישות.

גישה מאוזנת היא להפעיל אימות רק לאחר התנהגות חשודה, כמו ניסיונות חוזרים, קצב מילוי טופס בלתי אנושי או ציון סיכון גבוה. בטפסים ניתן להוסיף שדה נסתר שאינו אמור להתמלא על ידי אדם, לצד בדיקות צד שרת. אין להסתמך על בדיקות בדפדפן בלבד, משום שבוטים מתקדמים יכולים לעקוף אותן.

באתרי וורדפרס מומלץ גם לצמצם ניסיונות כניסה, לדרוש סיסמאות חזקות ולאפשר אימות דו-שלבי לחשבונות מנהלים. אם אין צורך אמיתי ב-XML-RPC או בפעולה מסוימת דרך ממשק זה, כדאי לבחון הגבלה שלו בהתאם לדרישות האתר והתוספים הפעילים.

חומת אש יישומית וסינון ברמת השרת

חומת אש ליישומי ווב, WAF, מנתחת בקשות לפני שהן מגיעות לאתר ומזהה דפוסים המקושרים לסריקות, הזרקות, ניסיונות התחברות ותעבורה חריגה. היא יכולה לסנן לפי כתובת IP, מיקום גאוגרפי, חתימות תקיפה, מוניטין של רשת והתנהגות בקשה.

ברמת השרת אפשר להוסיף כללים לחסימת גישה לנתיבים רגישים, להגביל שיטות בקשה שאינן נדרשות ולמנוע גישה ישירה לקבצים שאינם מיועדים לציבור. אלו פעולות שדורשות זהירות: כלל רחב מדי עלול לחסום תוסף, מערכת סליקה או שירות חיצוני לגיטימי. לכן כל שינוי צריך להיבדק בסביבת בדיקה או בשעות שבהן ניתן לנטר את האתר מקרוב.

אל תחסמו מנועי חיפוש ולקוחות אמיתיים

טעות נפוצה היא לחסום לפי מדינה, רשת או סוכן משתמש בעקבות אירוע נקודתי. לפעמים זו החלטה נכונה, למשל כאשר עסק פועל בשוק מקומי בלבד ומזהה גל תקיפה ממקור מסוים. אבל גם אז יש לבחון אם עובדים מרחוק, לקוחות בחו"ל או שירותים עסקיים משתמשים באותן רשתות.

במקום חסימה קבועה, אפשר להתחיל בחסימה זמנית, בהגבלת קצב או באתגר אימות. בדקו לאחר מכן את נתוני המכירות, הפניות, זמני הטעינה ושגיאות הגישה. אם חלה ירידה חריגה בתנועה אורגנית או בפעילות תקינה, ייתכן שהכלל אגרסיבי מדי.

גם בוטים מוכרים צריכים לעבור אימות. אין להניח שכל בקשה שמציגה את עצמה כמנוע חיפוש אכן מגיעה ממנו. אימות נכון נשען על בדיקות רשת ורישומים, ולא על שם שמופיע בכותרת הבקשה בלבד.

ניטור, גיבויים ותוכנית תגובה

חסימת בוטים אינה פעולה חד-פעמית. דפוסי תקיפה משתנים, תוספים מתעדכנים, והאתר עצמו מקבל עמודים, שירותים ותהליכים חדשים. ניטור קבוע של זמינות, שימוש במשאבים ויומני אבטחה מאפשר לזהות שינוי לפני שהלקוחות מרגישים בו.

הגדירו התראות על קפיצה בניסיונות התחברות, שגיאות רבות מסוג 403 או 404, עומס חריג ועלייה בזמני תגובה. חשוב שתהיה גם תוכנית ברורה: מי בודק את ההתראה, מי רשאי לשנות כללי חסימה, ומה עושים אם כלל חדש פוגע באתר תקין.

גיבויים יומיים אינם מחליפים הגנה מפני בוטים, אך הם חלק מהמשכיות עסקית. אם תקרית כוללת ניצול חולשה, שינוי זדוני בקבצים או פגיעה בנתונים, יכולת שחזור לנקודת זמן תקינה מקצרת משמעותית את זמן ההתאוששות. סביבת ניהול מרכזית ותמיכה אנושית זמינה מקלות במיוחד כאשר צריך לבדוק בו-זמנית את האתר, השרת, ה-DNS והגיבויים.

הפעולה הנכונה אינה בהכרח החסימה הקשוחה ביותר, אלא זו שמשאירה את האתר מהיר ונגיש ללקוחות תוך צמצום הפעילות החריגה. התחילו ממדידה, הפעילו שכבה אחת מדויקת, עקבו אחר התוצאה, ורק אז הרחיבו את ההגנה.