Про Яндекс и его роботов

[vitaly_il]

В январе получил письмо от хостера нашего семейного сайта о том, что мы почти "съели" весь месячный траффик - 20ГБ. Посмотрел статистику - оказывается, виноват Яндекс, его spider86.yandex.ru обращатился к breadmaker.karasik.org 41254 раз в месяц. Яндекс я заблокировал, а для очистки совести в их поддержку. Сегодня (через неделю) прислали ответ - советуют настраивать параметры их робота в моем robots.txt :-) А сам робот им, значит, лень настраивать.
Судя по кол-ву жалоб, от "прожорливости" Яндекса пострадали не мы одни.