Prosty robot wykorzystujący Cheerio
To jest moja formuła na stworzenie prostego robota w Node.js. Jest to główny powód, dla którego chcesz wykonywać manipulacje DOM po stronie serwera i prawdopodobnie jest to powód, dla którego tu trafiłeś.
Najpierw użyj, requestaby pobrać stronę do przeanalizowania. Po zakończeniu pobierania obsłuż go cheerioi rozpocznij manipulację DOM, tak jak przy użyciu jQuery.
Przykład roboczy:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Ten przykład wydrukuje w konsoli wszystkie najważniejsze pytania wyświetlane na stronie głównej SO. Właśnie dlatego uwielbiam Node.js i jego społeczność. Nie może być łatwiej :-)
Zainstaluj zależności:
npm cheerio żądanie instalacji
I uruchom (zakładając, że powyższy skrypt znajduje się w pliku crawler.js ):
węzeł crawler.js
Kodowanie
Niektóre strony będą zawierać treści w języku innym niż angielski w pewnym kodowaniu i konieczne będzie ich odkodowanie UTF-8. Na przykład strona w portugalskim języku brazylijskim (lub innym języku pochodzenia łacińskiego) prawdopodobnie będzie zakodowana w ISO-8859-1(inaczej „latin1”). Kiedy potrzebne jest dekodowanie, mówię, requestaby nie interpretować treści w żaden sposób i zamiast tego używaćiconv-lite do wykonania zadania.
Przykład roboczy:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Przed uruchomieniem zainstaluj zależności:
npm żądanie instalacji iconv-lite cheerio
A potem w końcu:
węzeł crawler.js
Poniższe linki
Następnym krokiem będzie skorzystanie z linków. Powiedz, że chcesz wyświetlić listę wszystkich plakatów z każdego górnego pytania w SO. Najpierw musisz wymienić wszystkie najważniejsze pytania (przykład powyżej), a następnie wprowadzić każdy link, analizując stronę każdego pytania, aby uzyskać listę zaangażowanych użytkowników.
Kiedy zaczniesz podążać za linkami, możesz zacząć piekło zwrotne . Aby tego uniknąć, powinieneś użyć obietnic, przyszłości lub cokolwiek innego. Zawsze trzymam asynchronię w pasku narzędzi. Oto pełny przykład robota używającego asynchronizacji:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
Przed uruchomieniem:
npm żądanie instalacji asynchroniczne cheerio
Uruchom test:
węzeł crawler.js
Przykładowe dane wyjściowe:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
I to jest podstawa, którą powinieneś wiedzieć, aby zacząć tworzyć własne roboty :-)
Wykorzystane biblioteki