Verktøy for å telle sider på et nettsted

[Kenneth Dreyer]

Hei,

Er det noen som vet om et verktøy som teller antall sider på et nettsted? Hadde vært kjekt med et verktøy som teller hvor mange sider den finner ved å crawle seg gjennom hele nettstedet. Gjerne om den gir en slags rapport på hvor mange av dem som kan anses som duplikater også.

Kan være greit å slippe til et slikt verktøy før man slipper inn google sine crawlere tenkte jeg.

 

[Knut]

Gjør ikke ett sitemapscript den jobben da?

 

[tyr897]

Du kan alltids kjøre en rekursiv wget e.l. for så å sammenligne med et enkelt script.

 

[Kenneth Dreyer]

Gjør ikke ett sitemapscript den jobben da?

Vet ikke? Jeg har bygget alle mine sitemaps ut fra databaser.

Du kan alltids kjøre en rekursiv wget e.l.

Har ikke linux..

 

[Tonny Kluften]

Xenu teller vel sider.
Et script for å finne duplikater er ikke til å oppdrive, ikke for meg ihvertfall, jeg har prøvd lenge.

 

[Kenneth Dreyer]

Kanskje på tide å leie inn noen til å lage det da.. hehe!

hva slags teknologi ville fungert best for det? Regner med man nesten kunne brukt PHP om det var et nettsted med 10-20 sider, men blir vel verre om det er flere hundre sider. Flere tusen blir vel nesten uaktuelt uten å ha noe dedikerte greier for det!

 

[Tonny Kluften]

Har et script der du får en liste over antall filer i hver mappe på nettstedet.

 

[sKrud]

Finnes det ikke drøssevis av spiderscript som crawler nettstedet of lager lister eller teller antallet sider?

Dette gjør i værtfall flere av de sitemap scriptene jeg har brukt tidligere..

 

[Knut]

Ble litt usikker nå om du mener filer på webområdet eller sider som vises, men er det det siste så gjør Create your Google Sitemap Online - XML Sitemaps Generator jobben på grei måte.

 

[Kenneth Dreyer]

Greia er at jeg ikke bare vil ha en som teller nettsidene, men også måler dem opp mot hverandre så dem kan fortelle meg om det er noen duplikater i faresonen! Det ville jo vært et kjekt verktøy for de som lanserer et nytt nettsted på nytt domene!

 

[OffaH_]

Å telle antall unike lenker er ikke noe problem å lage. PHP kan gjøre jobben, men Java eller liknede er å foretrekke pga multi threading. Om man skal sammenlikne duplikater får man fort et problem om det er mange sider, siden man ikke kan gjøre sammenligner i minnet, men må lagre i database. Skal man sammenlikne duplikater kommer også spørsmålet om hva som er å regne for duplikat, og da har man plutselig en vanskelig problemstilling.

 

[Kenneth Dreyer]

Det var vel egentlig noe database basert jeg kunne tenke meg. Nettstedet vil bestå av ca 80-150 sider under oppstart. Er vel ikke så vanskelig å lage noe som sjekker duplikater vil jeg tro. Kan jo veie opp mot et prosenttall så varsles det om alle nettsider som er f.eks 90% eller mer like.

 

[Tonny Kluften]

Kanskje ikke så vanskelig å lage et script, men det scriptet vil bruke masse ressurser på serveren og bør ha en begrensning på hvor mange sider den crawler samtidig.

 

[Kenneth Dreyer]

Selvfølgelig.. kunne ikke satt den til å scanne gjennom vg.no! For min del ville det blitt brukt hovedsakelig i forbindelse med nye nettsteder. Kan være greit å vite hvordan man ligger på duplikatfronten før man lanserer av og til - spesielt når man selv ikke har laget innholdet. Hadde vært en herlig bonus om den gjorde noen raske søk mot google også for å se om innholdet er scrapet fra et sted (det hadde vært spesielt viktig om man bygger for en kunde som har prøvd seg på en sleip en med å kopiere litt fra wikipedia).

Om det er en side med et par hundre undersider tror jeg ikke PHP hadde vært det mest optimale, men jeg har absolutt ingen anelse om hva slags teknologi som hadde vært best å bruke.

 

[Tonny Kluften]

Er ikke PHP greit hvis man setter begrensninger på 10 sider pr minutt f.eks? Eller er Java bedre å bruke?