7
Jak być dobrym obywatelem podczas indeksowania stron internetowych?
Mam zamiar opracować funkcjonalność, która będzie indeksować różne publiczne strony internetowe i przetwarzać / agregować na nich dane. Nic nie jest złowrogie jak poszukiwanie adresów e-mail - w rzeczywistości jest to coś, co może faktycznie zwiększyć ruch w ich witrynach. Ale dygresję. Poza honorowaniem robots.txt, czy istnieją jakieś zasady lub …