Posted at January 27, 2008 | Online - Urbanus
En de automatisering gaat verder. Na de automatisering van het updaten van het Nieuwsbrief archief is nu ook het spideren van Urbasearch geautomatiseerd. Dit is geen moeilijke stap geweest, aangezien deze nu al kan gedraaid worden op de commandline.
Waarom dit niet vroeger is gedaan? Wel, vroeger was het spideren een veel lastiger proces, maar nu wordt het forum niet meer gespiderd en het officiële forum is al een tijdje niet meer beschikbaar voor gasten. Vroeger was dit enkel doenbaar lokaal, aangezien zelfs de minste limiet van MySQL niet voldeed. En het uploaden van die flinke brok duurde natuurlijk een serieus eind.
In ieder geval: de resultaten zullen vanaf nu heel wat uitgebreider zijn dan wat in het begin van Urbasearch het geval, ondanks het feit dat ik het toen ook heel wat update.
En in mijn vorige post zei ik dat ik niet direct zal beginnen aan een eigen zoeksysteem vanwege het lage gebruik. Om je een gedacht te geven: volgens de statistieken die toch al een heel eindje bijgehouden worden zijn er 8142 zoekopdrachten geweest.
Posted at January 27, 2008 | Online - Urbanus
Het is zowat een eeuwigheid geleden, maar vandaag heb ik het spideren van Urbasearch in gang gezet. In mei 2007 werd dit voor het laatst gedaan, maar de database werd niet online gezet.
Vandaag heb eerst en vooral iSearch geüpgraded naar 2.18, want Urbasearch draaide nog steeds op iSearch 2.16. Naar aanleiding van het beperkte gebruik, en het feit dat ik geen zee van tijd heb, zal het nog wel even duren voor ik nog zal kijken om een eigen systeem te maken en gebruiken.
Hij is in ieder geval momenteel de boel aan het spideren, na het spideren wordt de huidige database vervangen door de nieuwe.
Posted at January 5, 2008 | Online - Urbanus
Tja, het moet een naam hebben he :P
Een tijdje geleden heb ik het nieuwsbrief archief systeem hervormd, maar er moest nog één iets gebeuren: voortaan moest het updaten van het archief automatisch gaan, maar er moest controle blijven zodat er geen spam in zou komen, zoals dat was wanneer ik het deed met de hand.
Wel dat heb ik dan vandaag gedaan. Het is een scriptje die elke dag zal worden uitgevoerd en via RSS kijkt of er een nieuwe post is. Wanneer hij merkt dat er een post aanwezig is die niet aanwezig is in de database, wordt die netjes toegevoegd. De controle op uniekheid gebeurt op basis van de URL, die een ID bevat.
En om te controleren dat er geen SPAM in komt wordt er een email verstuurt met de links, die bekijk ik dan en wanneer nodig verwijder ik het dus uit de database.
En zoals het hoort wordt er wanneer er iets is bijgevoegd ook melding van gemaakt in de update lijst van de index. Zo zie je nu staan:
05/01/08 - Het archief van de nieuwsbrief is geüpdatet.
05/01/08 - Laatste tien berichten worden vanaf nu getoond op de nieuwsbriefpagina.Het systeem is getest en blijkt te werken, dus vanaf heden wordt het nieuwsbrief archief automatisch bijgehouden. Laat de eerste berichten van 2008 maar komen!
Posted at December 22, 2007 | Online - Urbanus
Gisteren avond heb ik het archief van de Nieuwsbrief geüpdatet, want dat was al van in februari geleden. Ik heb echter wat ervaring nu met RSS feeds, zodoende was het de bedoeling om dat vanaf nu automatisch te laten doen. Dat was echter niet echt mogelijk met het huidige systeem, die sinds begin 2007 in gebruik is.
Zodus heb ik het omgebouwd en werkt het nu bv. op timestamps. Die heb ik gemaakt op basis van de GMT datum die dan wordt omgevormd naar de timestamp, en dat klopt. Zodoende heb ik ook de mogelijkheid het met de tijd verder uit te bouwen en bv. in 2008 de volledige artikels te opslaan en/of de tijd waarom geplaatst ook tonen.
Dat scriptje die de datum omvormt is heel simpel: het maakt gewoon gebruik van een ingebouwde php functie.
<?php
/**
* Online - Urbanus
* Copyright © 2007 Online - Urbanus
*
* Website: http://www.Online-Urbanus.be
*/
$time = strtotime($_POST['date']);
echo "<html>
<head>
<title>String to timestamp</title>
</head>
<body>
Timestamp: ".$time."<br />
<br />
<form method=\"post\" action=\"datetotime.php\">
<input type=\"text\" size=\"50\" name=\"date\" maxlength=\"120\" value=\"".$_POST['date']."\" />
<input type=\"submit\" value=\"GO!\">
</form>
</body>
</html>";
?>Voor de rest komt er dus een script die als cronjob zal functioneren en op die manier zal controleren of een post aan de hand van de URL is toegevoegd. Dat zal gebeuren via de RSS feed. Die cronjob zal elke dag worden uitgevoerd en zodus wordt het archief mooi up to date.
Posted at December 16, 2007 | Online - Urbanus
Sinds gisteren avond is er terug het vertrouwde balkje met de laatste posts op het forum. Dit verdween bij de verhuizing naar http://community.gamesection.org, maar is dus nu terug. Toen is het verdwenen doordat de connectie vanaf de servers in Nederland naar die in Mississippi niet zo vlot verliep, het vertraagde het geheel teveel.
Nu is het systeem gebaseerd op de RSS-feed van het forum. Wanneer de laatste check meer dan 5 minuten was wordt de feed vanaf de servers in Nederland gedownload, gelezen en dan gebruikt. Per toeval las ik over LastRSS, waardoor ik er aan dacht dat ik nog de laatste posts nog moest beschikbaar maken.
Ook de rest van de site is lichtjes in snelheid toegenomen. Dit door een stomme fout uit het verleden: een connectie met de database was niet altijd noodzakelijk, waardoor dit niet gebeurde in de global.php, maar later werd er een logsysteem toegevoegd (vooral om het aantal bezoekers te kunnen terugvinden tussen die van het forum, wat nu in principe niet meer nodig is), maar in plaats van die connectie aan te laten staan sloot ik die en soms maakte ik terug die connectie :P
Posted at October 24, 2007 | Game Section, Online - Urbanus
Misschien heb je het gisteren gezien (of nu): het forum is gesloten. Wil dit zeggen dat het gedaan is er mee? Bijlange niet! Zoals je kan zien in de melding is het forum verplaatst naar http://community.gamesection.org
Deze nieuwe site staat op de hosting die gegeven is door een nieuw Beta Tester: GreenGorilla. Deze hosting is onbeperkt en dus kan de doelstelling van de zoektoch naar nieuwe hosting worden volbracht: Vanaf heden kan iedereen elke dag 15 games downloaden. Ook kunnen er veel meer spelletjes online worden geplaatst. Met het huidige aantal spelletjes beslaat het forum immers enkele 100 MB!
Maar niet alleen het forum is veranderd. Er komt ook een echte Game Sectie website, uiteraard, op http://www.gamesection.org. Die site zal draaien op MediaWiki, dezelfde software als waarop Wikipedia en dergelijk draait. Momenteel is die nog niet beschikbaar, daarvoor moet er immers worden geüpgraded naar een nieuwe PHP versie.
Posted at August 16, 2007 | Online - Urbanus
Vandaag was de dag van de updates van het Online - Urbanus Forum. Er werden heel wat dingen geüpdatet en zelfs toegevoegd. Een overzicht:
Vandaag werd een bug in de thema's gefixed: vanaf heden is het terug mogelijk je af te melden. Bij de huidige MyBB versie moet er dan immers de sid meegeleverd worden, en dat gebeurde niet doordat dit niet toegepast werd door het thema.
Er zijn ook spam berichten uit de kalender verwijderd, gelukkig was sit maar een beperkte hoeveelheid. Dit was al een tijdje geblokkeerd dat niet geregistreerden berichten konden op de kalender plaatsen, maar de berichten die voordien geplaatst werden waren nog niet verwijderd.
Het PM Report systeem werd vandaag geüpgraded, althans het PM Admin gedeelte. Daarnaast heb ik een nieuwe plugin gemaakt zodat ik vanaf heden niet meer moet gaan kijken in het PM Admin gedeelte om te weten te komen of er PM's zijn gerapporteerd. Die PM, gemaakt door mij, toont een melding wanneer er nieuwe gerapporteerde PM's zijn.
Misschien vraag je je af waarom er dergelijk systeem wordt gebruikt. Ik heb dat meer dan een jaar geleden, 04/07/2006, toegevoegd om een degelijk systeem te hebben waarmee gebruikers gemakkelijk spam en/of scheldpartijen of wat dan ook kunnen melden, waarna ik kan controleren of dit klopt en zo ja sancties kan treffen op de gebruiker die dit deed.
Er is ook nog gewerkt aan tweetaligheid op het forum, daarom is vanaf heden de melding voor het testen van Fresh Blue en je mening erover te melden zowel in het Engels als het Nederlands. Blijkbaar is het dan toch mogelijk, tweetaligheid, al beweren de flaminganten graag iets anders.
Posted at August 15, 2007 | Online - Urbanus
Bij het extra beveiligen van het gastenboek systeem werd gebruik gemaakt van een email, dit heeft echter als resultaat dat er sinds die beveiliging reeds duizenden mailtjes zijn verzonden en ik dagelijks een mailtje terug krijg in het Spaans, Russisch, ... . Daarom heb ik besloten om een extra beveiliging toe te voegen: een captcha, net zoals bij het forum. De generatie van de captcha zal trouwens gebeuren door het MyBB systeem.
Naast de captcha is er een 2de vernieuwing: vanaf heden kan je je e-mail adres verbergen voor andere gebruikers zodat uw email adres niet meer het gevaar loopt gevonden te worden door spammers.
Beveiliging is altijd het belangrijkste: wat U ook maakt: een slimme gebruiker zal altijd kiezen voor een goed beveiligd systeem, al heeft uw systeem de mooiste (standaard) vormgeving uit zijn soort.
Al is er toch één uitzondering: Windows en zijn andere kameraadjes van Microsoft zijn ondanks de verschrikkelijke onveiligheid toch de meest gebruikte systemen. Blijkbaar betalen gebruikers liever een paar honderd euro voor hun systeem + een beveiligingssysteem van enkele tientallen euro's dan gebruik te maken van bijvoorbeeld het gratise Ubuntu en andere Linux distributies.
Posted at August 10, 2007 | Online - Urbanus
Tijdens een eerste controle op de Download Sectie zag ik dat ik de spam nog niet gedelete had, maar dat was dan binnen 5 seconden gebeurt. Alleen was er terug nieuwe spam, dit door een niet-geactiveerde gebruiker, waarna deze gebruiker onmiddellijk verbannen werd.
Je kan het al raden, er is terug een nieuwe beveiliging in de Download Sectie: die om te kijken of de account geactiveerd is.
Wat ik me afvraag: was dit een botje die dit deed, of was het een persoon. Het zou kunnen dat het het werk is van een botje, dat is misschien ook een reden dat er de laatste tijd steeds meer niet-geactiveerde gebruikers zijn. Vroeger gebeurde dit wel eens omdat gebruikers dit niet verstonden of gewoon niet meer langskomen of omdat ze een typefout hadden in hun email adres.
Binnen een paar dagen zullen de niet geactiveerde gebruikers verwijderd worden. Maar wanneer het nu het werk is van botjes zal dit niet toereikend zijn. Daarom zal een extra beveiliging komen op de registraties: captchas.
Posted at August 5, 2007 | Online - Urbanus
Vandaag was het zover: de nieuwe Download Sectie is er!
Dat er een nieuwe Download Sectie zou komen werd al eerder gemeld op het blog, maar nu is hij er effectief gekomen. Vannacht heb ik heb online gezet, maar er zat nog een probleempje in: de afbeelding werd niet verzonden tijdens het toevoegen van een download.
Vandaag vond ik het probleem. Ik was een klein stukje vergeten in het formulier: enctype="multipart/form-data" . Iets kleins, zodat het een tijdje kostte om het te vinden.
Ondertussen heb ik een stukje code toegevoegd dat er voor zorgt dat de afbeelding van de eerste download op de pagina getoond wordt. Ook is het aantal tekens van de omschrijving dat getoond wordt bij de eerste download groter dan bij de andere.
Deze nieuwe versie is compleet door mij geschreven en de "basis" voldoet om alle extra's veilig te laten verlopen zonder enig risico van spam.