Rubrikk.no - hvordan henter de annonsene?

knippsen

Medlem
Noen som har en idé om hvilken teknologi nettsteder som rubrikk.no bruker til å hente annonsene fra andre annonsesteder?
 

adeneo

Medlem
Det er bare vanlig scraping og roboter, ikke noe hokus pokus, men de har nok samtidig avtaler med de aktørene de henter annonser fra, ettersom ingen av disse i utgangspunktet tillater slikt.

Se for eksempel nederst på finn.no og du vil finne:

Bruk av automatiserte tjenester (roboter, spidere, indeksering m.m.) samt andre fremgangsmåter for systematisk eller regelmessig bruk er ikke tillatt uten eksplisitt samtykke fra FINN.
 

knippsen

Medlem
Takk for svar. Finnes det måter å gjøre dette som ikke koster skjorta? Helt blank på området.
 

adeneo

Medlem
challenge-accepted.jpg
 

Bjørn

Domenespekulant
får den ikke til å funke adeneo.. funker den kun på en og en annonse? hvordan få den til å funke på f.eks. alle annonser av et spesielt bilmerke på Finn?
 

adeneo

Medlem
Det er ikke tillatt å hente data fra finn.no, så det er bare et slags "proof of concept" på at man faktisk kan hente annonser uten særlig store problemer.

Finn.no har ikke noe globalt søk.
Du kan ikke søke på "nisseluer" og så se alle annonser som inneholder "nisseluer" enten det er på torget, eiendom eller bil, du må søke på kun bil, kun båt osv. og alle kategoriene til finn.no er delt ut selvstendige selskaper, og selv om de ser ut til å bygge på mye av det samme rammeverket så er det en del forskjeller i lenkestruktur og annet.

På grunn av dette brukte jeg finn-koder, ettersom alle annonser har en finn-kode, og det er det eneste man kan søke på globalt.
Fortsatt virker det ikke med alle annonser, og slik som eiendomsannonser er strukturer på en helt annen måte enn bilannonser, og derfor virker det ikke med finn-koder som går til eiendomsannonser.

Med andre ord, et globalt søk over hele finn.no blir komplisert ettersom finn.no ble bygget i 1996 eller noe slikt, og siden den gang har diverse underavdelinger bare lempet på med kode for å implementere nye ting, og det virker som om hele greiene nå egentlig trenger å lages på nytt fra bunnen av, men at ingen ønsker å begynne eller ta kostnaden.

Det er nok derfor finn.no ikke har et stort søkefelt på forsiden hvor man kan søke på hva som helst, rett og slett fordi deres utdaterte kodebase er kommet til et stadie hvor ingen egentlig vet hva som foregår, og da blir det enda vanskeligere når man sitter som tredjepart og ikke engang har tilgang til databasen, men bare screenscraper.

Prøv med en finn-kode fra en bil eller båt annonse, så virker det!
 

zapotek

Medlem
Aner ikke, men jeg skjønner ikke hva Finn har å tape på at en konkurrent driver trafikk over til dem...
 
Topp