Bruke VPS som WebCrawler

[Stian O]

Har aldri gjort dette tidligere så unnskyld at jeg er litt fersk i gamet.

Jeg ønsker å laste ned daglige aksjekurser fra Yahoo finance. Jeg kan gjøre dette fra min egen PC men det er snakk om mange hundre aksjer, hvorav hver og en har en unik url som må nedlastes.

Jeg lurer på om det er 1) akseptert og 2) teknisk mulig å programmere en VPS server til å gjøre dette for meg?

Tenker meg at løsningen blir som dette
1) Min PC sender en liste over URLs som serveren skal laste ned
2) Serveren laster ned alle disse
3) Serveren sender tilbake en komprimert zip-fil med alt innholdet til min PC

 

[Nutz]

Dette er egentlig en grei jobb for din egen pc også, trenger ikke å koste all verden av ressurser i form av internettrafikk og "treg pc".
-Bare et spørmål om å "automatisere".
-Det moralske ved dette er ikke et tema så lenge du sanker til eget bruk, men så fort du deler med andre, så kan artikkelforfattere og Yahoo muligens bli litt sære.

Husk at man har "mer kontroll" på sin egen maskin og verktøy. -Riktignok har man en kjapp internettforbindelse på en vps, men et par hundre web-sider med tekst er egentlig ikke mye og går normalt fort.

 

[typisk]

Det er både teknisk mulig og akseptert.
Du trenger ikke egen VPS til dette, kan programmeres lokalt med språk som php, python og java.

 

[xdex]

Bare ett kjapt tips, mange nettsider liker ikke crawlere som er inne på siden for å "laste ned innhold" og de kan av den grunn stenge deg ute, og du vil da ikke få tilgang på informasjonen du ønsker på en god stund.

Hvorfor du i det hele tatt skal laste ned slike kurser, forstår jeg ikke. Det er flere gode programmer som har en slik oversikt.