Semalt ботторду, жөргөмүштөрдү жана жөргөмүштөрдү кантип чечүүгө болот

Издөө тутумуна ылайыктуу URL даректерин түзүүдөн тышкары, .htaccess файлы веб-мастерлерге белгилүү бир ботторду өз веб-сайттарына кирүүгө тыюу салат. Бул роботторду бөгөттөөнүн бир жолу robots.txt файлы аркылуу болот. Бирок, Semalt Кардарлардын Ийгиликтери боюнча Менеджери Росс Барбер, кээ бир жөргөмүшчүлөрдүн бул өтүнүчтү четке кагып жаткандыгын байкады . Мыкты жолдордун бири - .htaccess файлын колдонуу, алардын мазмунуңузду индекстөөгө жол бербөө.

Бул боттор деген эмне?

Алар индекстөө максатында интернеттен жаңы мазмунду жок кылуу үчүн издөө системалары тарабынан колдонулган программанын бир түрү.

Алар төмөнкү тапшырмаларды аткарышат:

  • Сиз шилтеме берген веб-баракчаларына баш багыңыз
  • HTML кодуңузду каталарды текшериңиз
  • Алар кайсы веб-баракчаңызды сактап, кайсы веб-баракчаңыз сиздин мазмунуңузга шилтеме кылып жаткандыгын көрө аласыз
  • Алар сиздин мазмунду индекстешет

Бирок, айрым боттор зыяндуу болуп, сайтыңызды электрондук почта даректерин жана формаларын издеп табышат, алар адатта сизге керексиз билдирүүлөрдү же спамдарды жиберишет. Башкалары кодуңуздан коопсуздук боштуктарын издешет.

Веб жөрмөлөгүчтү бөгөттөө үчүн эмне керек?

.Htaccess файлын колдонуудан мурун, төмөнкүлөрдү текшеришиңиз керек:

1. Сиздин сайт Apache серверинде иштеши керек. Бүгүнкү күндө, ал тургай, веб-хостинг компаниялары өз жумушуна жарым-жартылай татыктуу болсо да, сизге керектүү файлга кирүү мүмкүнчүлүгүн берет.

2. Сиздин веб-сайтыңызга чийки сервер журналдарын көрүүгө мүмкүнчүлүк болушу керек, ошондо веб-баракчаңызга кандай боттор киргенин таба аласыз.

Эскертүү, сиз пайдалуу деп эсептегендердин бардыгын блоктосоңуз, анда бардык зыяндуу ботторду бөгөттөй албайсыз. Күн сайын жаңы боттор пайда болуп, эскилери өзгөрүлүп турат. Эң натыйжалуу ыкма - бул сиздин кодду коопсуздандыруу жана боттордун сизге спам жиберүүсүнө тоскоол болуу.

Ботторду аныктоо

Ботторду IP дареги же HTTP аталыштарына жөнөткөн "Колдонуучу агентинин саптары" аркылуу аныктоого болот. Мисалы, Google "Googlebot" колдонот.

Эгерде сизде .htaccess колдонуудан баш тартууну каалаган боттун аталышы болсо, анда сизге 302 боттун тизмеси керек болот.

Дагы бир жолу, бардык журнал файлдарын серверден жүктөп алып, аларды текст редактору аркылуу ачыңыз. Сервердеги жайгашуусу сервериңиздин конфигурациясына жараша өзгөрүшү мүмкүн. Эгер сиз аларды таба албасаңыз, веб хостуңуздан жардам сураңыз.

Кайсы бетке киргенин же кирген убакты билсеңиз, керексиз бот менен кетүү оңой болот. Ушул параметрлер менен журнал файлынан издесеңиз болот.

Бир жолу, сиз кандай ботторду бөгөттөшүңүз керек экендигин байкадыңыз; аларды .htaccess файлына кошсоңуз болот. Эсиңизде болсун, боттун бөгөттөлүшү аны токтотуу үчүн жетишсиз. Ал жаңы IP же аты менен кайтып келиши мүмкүн.

Аларды кандайча тосууга болот

.Htaccess файлынын көчүрмөсүн жүктөп алыңыз. Зарыл болсо, камдык көчүрмөлөрүн жасаңыз.

1-ыкма: IP менен бөгөттөө

Бул код үзүндү 197.0.0.1 IP дарегин колдонуп, ботту бөгөттөйт

Буйрутмадан баш тартуу, уруксат берүү

197.0.0.1 дан баш тартуу

Биринчи сап сервер сиз көрсөткөн үлгүлөргө дал келген бардык сурамдарды бөгөттөп, башкаларга уруксат берет дегенди билдирет.

Экинчи сап серверге 403: тыюу салынган баракчаны чыгарууну билдирет

2-ыкма: Колдонуучунун агенттери тарабынан бөгөттөө

Эң жөнөкөй жол - Apache'тин жазуу моторун колдонуу

RewriteEngine On

RewriteCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

Биринчи сапта жазуу модулу иштетилген. Экинчи сап эреже колдонулуучу шарт. 4-саптагы "F" серверге 403 кодун кайтарууну билдирет: "L" тыюу салынат, бул акыркы эреже.

Андан соң .htaccess файлын сервериңизге жүктөп бересиз жана бардыгын жазасыз. Убакыт өткөн сайын, сиз боттун IP'син жаңыртышыңыз керек болот. Эгер ката кетирсеңиз, өзүңүз жасаган камдык көчүрмөнү жүктөп бериңиз.

mass gmail