• User-Agent-Strings (1 bis 2 / 2)

    Add User-Agent-String

    4556   (kristof, 11/16/2006 2:57:28 PM)
    EditDelete
    IP-Adresses
    Mozilla/5.0 (Windows;) NimbleCrawler 2.0.1 obeys UserAgent NimbleCrawler For problems contact: crawler@healthline.com
    4555   (kristof, 11/16/2006 2:57:28 PM)
    EditDelete
    IP-Adresses
    Mozilla/5.0 (Windows;) NimbleCrawler 1.12 obeys UserAgent NimbleCrawler For problems contact: crawler@healthline.com
 

  • Comments (1 to 1 / 1)

    Kristof Zerbe
    kristof
    Thursday, 14.02.2008 09:12
    Crawler des Portals healthline.com, der vor allem nach Gesundheitsthemen sucht; hält sich aber nicht immer an die robots.txt