NAVIGATION : INDEX DU FORUM / ACCUEIL DE P2PFR / WIKI

Merci de faire une recherche avant de poster :)

Nous sommes actuellement le 28 Mars 2024 20:55

Heures au format UTC + 1 heure [ Heure d’été ]




Forum verrouillé Ce sujet est verrouillé, vous ne pouvez rédiger ou éditer aucun message.  [ 5 messages ] 
Auteur Message
 Sujet du message: Surveiller les changements de contenu d'une page web
MessagePublié: 05 Jan 2011 23:11 
@edmc, je sais que tu avais fait ça une fois genre pour garder un oeil sur les mises à jour de logiciels etc sur certains sites.
J'aimerais bien savoir quel genre de solution tu as utilisé, un truc tout fait ? scripté à la main ?

J'aimerais bricoler un script dans je ne sais pas encore quel langage (peut être php) pour surveiller des sorties d'épisodes sur des sites divers, mais je cherchais un truc un minimum plus propre que faire le parsing moi-même ...


Rapporter ce message
Haut
  
Répondre en citant  
 Sujet du message: Re: Surveiller les changements de contenu d'une page web
MessagePublié: 13 Jan 2011 21:44 
Hors-ligne
Web Manu, Master of P2PFR.com
Avatar de l’utilisateur

Inscrit le: 07 Déc 2001 02:00
Messages: 4160
Localisation: in the code
T'as bien fait de me relancer par mail, je ne sais pour quelle raison ce topic m'a échappé...
Donc, le script en question c'est dû fait maison.
Si t'as créé un topic c'est ptete pour que je partage le code ?
Pas de soucis, juste le temps de trouver un pc :)


Rapporter ce message
Haut
 Profil Site InternetICQYIM 
Répondre en citant  
 Sujet du message: Re: Surveiller les changements de contenu d'une page web
MessagePublié: 14 Jan 2011 11:53 
Hors-ligne
0 ou 1 je me tâte
Avatar de l’utilisateur

Inscrit le: 07 Déc 2001 02:00
Messages: 10996
Localisation: Lille et ailleurs
C'est pour que tu m'expliques comment t'as fait ; partager le code ça n'est qu'un plus si t'as envie de le faire :D
Disons que j'avais un peu l'intention de faire ça pour un autre site, mais je suis pas sûr de le faire car y'a d'autres voies possibles.
Le post était perdu dans la rubrique programmation et sous un compte "invité", ça n'est pas ce qui saute le plus aux yeux disons.


Rapporter ce message
Haut
 Profil Site Internet 
Répondre en citant  
 Sujet du message: Re: Surveiller les changements de contenu d'une page web
MessagePublié: 14 Jan 2011 16:49 
Hors-ligne
Web Manu, Master of P2PFR.com
Avatar de l’utilisateur

Inscrit le: 07 Déc 2001 02:00
Messages: 4160
Localisation: in the code
Ok, donc sur le principe :
Pour chaque soft (ou série si tu veux) j'associe dans une base un mot clé à surveiller. Ce mot est choisi stratégiquement, en général c'est le numéro de version, et l'url de la page à surveiller.
Mon script va dans un 1er temps rappatrier la page de l'url dans une variable et va chercher la position du mot à surveiller dans la variable.
Ensuite je stocke cette position dans un fichier (j'aurais pu la stocker dans une bdd mais bon.. c'est du à l'historique de la création du script)

Une fois ce 1er temps effectuer, le script est lancé quotidiennement pour vérifier si le mot clé est toujours placé au meme endroit sur la page.
Si la position diffère, c'est soit que la page est été modifié esthétiquement parlant (ce qui est assez rare) soit qu'il y a donc une nouvelle version.

A la base, je stockais toute la page html, mais ca posait problème avec les parties de page dynamique, genre un compteur quelque part ou une date et c'était foutu.
La en ce basant sur la position, ca a l'air de marcher très convenablement ;) Et je suis assez fière de moi lol.

Donc en gros :
Code:
   
  if(file_exists("/var/test/".$val[id_du_truc].".html")){
      $html = implode ('', file ("/var/test/".$val[id_du_truc].".html"));
      $html2 = implode ('', file ($url));
      $html2  = strpos($html2,$key);

      if(trim($html)==""){
        echo " CACHE INCORRECTE !! - la 1ère étape n'a pas été faite ou le mot clé a surveiller n'est pas bon\n";
      }elseif($html==$html2){
        echo " Pas de nouvelle version\n";
      }else{
        echo " NEW VERSION !!\n";
      }

    }else{
      //création du fichier de cache
      echo " Création du fichier : ".$url."<br>\n";
      flush();
      $file = fopen("/var/test/".$val[id_du_truc].".html", "w");
      $html = implode ('', file ($url));
      $html  = strpos($html,$key);
      fwrite($file,$html);
      fclose($file);
    }


Voila c'est du vieux code ptete pas utilisé mais ca marche lol


Rapporter ce message
Haut
 Profil Site InternetICQYIM 
Répondre en citant  
 Sujet du message: Re: Surveiller les changements de contenu d'une page web
MessagePublié: 14 Jan 2011 21:43 
Hors-ligne
0 ou 1 je me tâte
Avatar de l’utilisateur

Inscrit le: 07 Déc 2001 02:00
Messages: 10996
Localisation: Lille et ailleurs
Ok ok, pour améliorer éventuellement, tu peux cibler l'algo pour qu'il ne ressorte qu'une ligne html (faire comme grep en bash), celle qui contient le numéro de version, et qui est sans doute facile à repérer. Ca évite que les changements esthétiques viennent donner un faux positif car peu de probas qu'ils concernent cette ligne particulière, enfin, j'ai pas bien compris cette histoire de "position" (dangereux pour moi car si genre un compteur change en ayant un numéro en plus, il peut aussi affecter la place/la position de la chaîne clé qu'on recherche).
Danke schön.


Rapporter ce message
Haut
 Profil Site Internet 
Répondre en citant  
Afficher les messages publiés depuis:  Trier par  
Forum verrouillé Ce sujet est verrouillé, vous ne pouvez rédiger ou éditer aucun message.  [ 5 messages ] 

Heures au format UTC + 1 heure [ Heure d’été ]


Qui est en ligne ?

Utilisateur(s) parcourant actuellement ce forum : Aucun utilisateur inscrit et 12 invité(s)


Vous ne pouvez pas publier de nouveaux sujets dans ce forum
Vous ne pouvez pas répondre aux sujets dans ce forum
Vous ne pouvez pas éditer vos messages dans ce forum
Vous ne pouvez pas supprimer vos messages dans ce forum
Vous ne pouvez pas insérer de pièces jointes dans ce forum

Rechercher pour:
Aller vers:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Traduction réalisée par Maël Soucaze © 2010 phpBB.fr