Sisällysluettelo:
Määritelmä - Mitä Spider tarkoittaa?
Hämähäkki on Internetissä erityinen ohjelmisto, joka on suunniteltu indeksoimaan systemaattisesti ja selaamaan World Wide Web -verkkoa yleensä verkkosivujen indeksoimiseksi, jotta ne tarjoaisivat hakutuloksia käyttäjän hakulausekkeille. Tunnetuin tällaisista hämähäkkeistä on Googlebot, Googlen tärkein indeksoija, joka auttaa varmistamaan, että osuvat tulokset palautetaan hakukyselyille.
Hämähäkkejä kutsutaan myös Web-indeksoijana, haku- tai yksinkertaisesti robotina.
Techopedia selittää Hämähäkki
Hämähäkki on lähinnä ohjelma, jota käytetään tiedon keräämiseen Internetistä. Se selaa verkkosivustojen sivuja, jotka poimii tietoja ja indeksoi niitä myöhempää käyttöä varten, yleensä hakukoneiden tuloksia varten. Hämähäkki vierailee verkkosivustoilla ja niiden sivuilla eri linkkien kautta sivuille ja sivuilta, joten sivua, jolla ei ole yhtä linkkiä, on vaikea indeksoida, ja se voi olla sijoitettu todella matalalle hakutulossivulle. Ja jos sivulle osoittavia linkkejä on paljon, tämä tarkoittaisi, että sivu on suosittu ja se näkyy korkeammalla hakutuloksissa.
Verkon indeksointiin liittyvät vaiheet:
- Hämähäkki löytää sivuston ja alkaa indeksoida sen sivuja.
- Hämähäkki indeksoi sivuston sanat ja sisällön.
- Hämähäkki vierailee sivustolla löydetyissä linkeissä.
Hämähäkit tai web-indeksoijat ovat vain ohjelmia ja sellaisenaan ne noudattavat ohjelmoijien asettamia systemaattisia sääntöjä. Sivustojen omistajat voivat päästä mukaan myös kertomalla hämähäkille, mitkä sivuston osat indeksoidaan ja mitkä eivät. Tämä tehdään luomalla "robots.txt" -tiedosto, joka sisältää ohjeet hämähäkkelle siitä, mitä osia indeksoida ja linkkejä seurata ja mitkä sen tulisi sivuuttaa. Merkittävimpiä hämähäkkejä ovat ne, jotka ovat suurten hakukoneiden, kuten Google, Bing ja Yahoo, omistamia ja tiedon louhintaan ja tutkimukseen tarkoitettuja, mutta on myös joitain haitallisia hämähäkkejä, jotka on kirjoitettu etsimään ja keräämään sähköpostit käyttäjän myymään yrityksille. tai löytää Web-tietoturvan haavoittuvuuksia.
