Pytania otagowane jako web-crawler

7
Jak być dobrym obywatelem podczas indeksowania stron internetowych?
Mam zamiar opracować funkcjonalność, która będzie indeksować różne publiczne strony internetowe i przetwarzać / agregować na nich dane. Nic nie jest złowrogie jak poszukiwanie adresów e-mail - w rzeczywistości jest to coś, co może faktycznie zwiększyć ruch w ich witrynach. Ale dygresję. Poza honorowaniem robots.txt, czy istnieją jakieś zasady lub …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.