En de automatisering gaat verder. Na de automatisering van het updaten van het Nieuwsbrief archief is nu ook het spideren van Urbasearch geautomatiseerd. Dit is geen moeilijke stap geweest, aangezien deze nu al kan gedraaid worden op de commandline.
Waarom dit niet vroeger is gedaan? Wel, vroeger was het spideren een veel lastiger proces, maar nu wordt het forum niet meer gespiderd en het officiële forum is al een tijdje niet meer beschikbaar voor gasten. Vroeger was dit enkel doenbaar lokaal, aangezien zelfs de minste limiet van MySQL niet voldeed. En het uploaden van die flinke brok duurde natuurlijk een serieus eind.
In ieder geval: de resultaten zullen vanaf nu heel wat uitgebreider zijn dan wat in het begin van Urbasearch het geval, ondanks het feit dat ik het toen ook heel wat update.
En in mijn vorige post zei ik dat ik niet direct zal beginnen aan een eigen zoeksysteem vanwege het lage gebruik. Om je een gedacht te geven: volgens de statistieken die toch al een heel eindje bijgehouden worden zijn er 8142 zoekopdrachten geweest.