[Résolu] Récupération indice - Problème avec Boursorama

Vous constatez une anomalie dans GesFine, c'est ici ...

Modérateur : Patrice15220

Répondre
Pierre38
Messages : 17
Enregistré le : 04 décembre 2016, 17:05

[Résolu] Récupération indice - Problème avec Boursorama

Message par Pierre38 »

Bonjour Jacques,

Je te remonte un problème que j’ai constaté ce matin sur la récupération des titres d’un indice (PEAPME).
La liste des titres n’est pas complète et il en manque pas mal.

Du coup j’ai regardé sur Boursorama avec l'indice basé sur le code marché PEAPME,
Tout va bien jusqu’à la page 5, dernier titre de la page "HERIGE I17", en cliquant sur page suivant on reste sur la page 5.
Si on force l’url avec la page 6 :
On obtient « La page demandée n'existe plus ! »

Du coup dans la liste des titres pour le marché PEAPME, on a le début jusqu’à HERIGE I17, puis 3 autres titres après, Kinepolis, Kko inter,Tonn. Francois.

J’ai vidé le fichier log_errorimport.txt avant de faire la récupération de l’indice, tu as juste les erreurs de ce matin.
26/03/2017 08:34:20.771 Boursorama Direct Titre Structure, Code: PEAPME Element not found at line 1
26/03/2017 08:34:21.951 Boursorama Direct Titre Structure, Code: PEAPME Element not found at line 10
26/03/2017 08:35:59.310 Boursorama Direct Titre Structure, Code: 1rPSOIT Element not found at line 1
26/03/2017 08:35:59.326 Boursorama Direct Titre Structure, Code: 1rPSOIT Element not found at line 10
Pendant la récupération de l’indice j’ai aussi le message d’erreur suivant :
constraint failed
UNIQUE constraint failed: tbl_ls_s.id_ls, tbl_ls_s.id_s
à System.Data.SQLite.SQLite3.Reset(SQLiteStatement stmt)
à System.Data.SQLite.SQLite3.Step(SQLiteStatement stmt)
à System.Data.SQLite.SQLiteDataReader.NextResult()
à System.Data.SQLite.SQLiteDataReader..ctor(SQLiteCommand cmd, CommandBehavior behave)
à System.Data.SQLite.SQLiteCommand.ExecuteReader(CommandBehavior behavior)
à System.Data.SQLite.SQLiteCommand.ExecuteNonQuery(CommandBehavior behavior)
à System.Data.SQLite.SQLiteCommand.ExecuteNonQuery()
à GesFineBdd.BddMod.ExecuteSQLNonQuery(String stSQL, SQLiteConnection oObjectConnection, Boolean bOptimTransaction, Boolean bDisplayMessage, Boolean bUpdateTablePlugin, ParametersSQL oParametersSQL, String& stMsgError, Boolean bNoLog)
Cordialement,
Pierre.
Jacques Leblond
Administrateur
Messages : 6747
Enregistré le : 04 janvier 2010, 20:03
Localisation : France (Yvelines 78)
Contact :

Re: [Récupération indice] Problème avec Boursorama

Message par Jacques Leblond »

Bonjour Pierre,

Il y a effectivement une anomalie sur le site Boursorama, la pagination numérique n'est plus complète.
Si on met à jour les listes dans GesFine, elles seront tronquées aux seules pages accessibles !

Pour le message d'erreur de GesFine, je n'arrive pas à le reproduire pour l'instant, mais il s'agit du contrôle d'intégrité au niveau de la base de données pour éviter d'enregistrer un doublon (Plusieurs fois le même titre dans une liste).

Enfin pour les messages d'anomalies dans la log, il faut supprimer le "code de téléchargement" des cours en direct de l'indice PEAPME car il ne doit pas être coté en tant que tel. Par contre il faut conserver la source qui fera référence lors d'ajout de nouveaux titres dans la liste.

EDIT :
J'ai identifié le problème des titres au delà de ceux des pages Boursorama. Il s'agit de titres dont le code ISIN a été récupéré par un autre titre, or dans mon processus de mise à jour, je n'actualisais pas la désignation du titre dans ce cas de figure.
Ce sera chose faite maintenant, après renommage, les titres correspondent bien aux titres des seules pages accessibles de Boursorama.
Reste le problème coté Boursorama.
Pierre38
Messages : 17
Enregistré le : 04 décembre 2016, 17:05

Re: [Récupération indice] Problème avec Boursorama

Message par Pierre38 »

Bonjour Jacques,

Ok pour le problème de doublon dans la base.

Je ferai la modification du code de téléchargement du cours de l'indice PEAPME suivant ta recommandation.

Pour Bourso, j'espère qu'ils vont vite voir le problème et le corriger.

Bonne journée.
Pierre.
Jacques Leblond
Administrateur
Messages : 6747
Enregistré le : 04 janvier 2010, 20:03
Localisation : France (Yvelines 78)
Contact :

Re: [Récupération indice] Problème avec Boursorama

Message par Jacques Leblond »

Pierre38 a écrit :Pour Bourso, j'espère qu'ils vont vite voir le problème et le corriger.
Je leur ai signalé depuis leur formulaire de contact : http://www.boursorama.com/aide/support.phtml
Si les signalements sont nombreux cela devrait les motiver...

En attendant ne mettez pas à jour vos listes de titres.
Jacques Leblond
Administrateur
Messages : 6747
Enregistré le : 04 janvier 2010, 20:03
Localisation : France (Yvelines 78)
Contact :

Re: [Récupération indice] Problème avec Boursorama

Message par Jacques Leblond »

Bonsoir,
Le bogue du site Boursorama est corrigé. Cela fonctionne pour le SRD.
Par contre pour la liste PEAPME, il y a un trop grand nombre de pages, la fin de la liste ne sera a priori pas importée car la numérotation est interrompue sur le site.
Pierre38
Messages : 17
Enregistré le : 04 décembre 2016, 17:05

Re: [Résolu] Récupération indice - Problème avec Boursorama

Message par Pierre38 »

Bonjour Jacques,

Je profite d’un jour de RTT pour travailler un peu sur Gesfine.

Comme tu l’as signalé, Boursorama a corrigé le bug de pagination.

Il y a problèmes avec cette liste, car si on compte, il y a 12 pages de 34 lignes = 408 titres, mais il y a des titres sans cotation (17), reste donc 391.

Gesfine en trouve 453 dans la liste, je t’avoue que je n’ai pas fait le comparatif pour voir les différences ;)

Sur la liste officielle, un fois enlevé les radiés, il y en a 317
https://www.euronext.com/fr/pea-pme voir fichier Excel.

J’ai cherché une autre source pour la liste, je n’ai pas trouvé.
C’est pareil pour le PEA, pas pu trouver la liste des titres éligibles.

Je vais continuer à chercher.

Comme j’avais encore l’erreur sur la contrainte de clé :

constraint failed
UNIQUE constraint failed: tbl_ls_s.id_ls, tbl_ls_s.id_s
à System.Data.SQLite.SQLite3.Reset(SQLiteStatement stmt)
à System.Data.SQLite.SQLite3.Step(SQLiteStatement stmt)
à System.Data.SQLite.SQLiteDataReader.NextResult()
à System.Data.SQLite.SQLiteDataReader..ctor(SQLiteCommand cmd, CommandBehavior behave)
à System.Data.SQLite.SQLiteCommand.ExecuteReader(CommandBehavior behavior)
à System.Data.SQLite.SQLiteCommand.ExecuteNonQuery(CommandBehavior behavior)
à System.Data.SQLite.SQLiteCommand.ExecuteNonQuery()
à GesFineBdd.BddMod.ExecuteSQLNonQuery(String stSQL, SQLiteConnection oObjectConnection, Boolean bOptimTransaction, Boolean bDisplayMessage, Boolean bUpdateTablePlugin, ParametersSQL oParametersSQL, String& stMsgError, Boolean bNoLog)

J’ai supprimé tous les titres et j’ai rechargé la base à partir de l’indice, problème réglé.

A la sortie, il reste 378 titres avec une cote dans le module d’aide à la décision, un certain nombre de ligne sans valeur (normal) et des lignes vides mais pour lesquelles il existe des cours, moins normal.
Par exemple :
  • Soitec FR0013227113
    Groupe Parot FR0013204070
    Cybergun FR0013204351
    Abeo FR0013185857
Impeccable le petit bouton de téléchargement des cours de clôture dans le module graphique :D

Cordialement,
Pierre.
Jacques Leblond
Administrateur
Messages : 6747
Enregistré le : 04 janvier 2010, 20:03
Localisation : France (Yvelines 78)
Contact :

Re: [Résolu] Récupération indice - Problème avec Boursorama

Message par Jacques Leblond »

Merci Pierre pour ton retour.
Je n'ai jamais regardé dans le détail non plus mais il y a souvent des doublons dans les listes Boursorama.

Le bogue lié aux doublons de clé est déjà corrigé, j'ai repris en profondeur l'algorithme, tous les cas n'étaient pas correctement gérés, notamment entre les doublons de nom et les doublons d'ISIN.
Je n'ai pas fait de version intermédiaire vu la proximité de la publication de la prochaine version officielle (demain).
Pierre38 a écrit :A la sortie, il reste 378 titres avec une cote dans le module d’aide à la décision, un certain nombre de ligne sans valeur (normal) et des lignes vides mais pour lesquelles il existe des cours, moins normal.
La présence de cours est nécessaire mais il en faut suffisamment sinon le traitement ne peut pas s'effectuer correctement. Notamment des cours récents.
Pierre38 a écrit :Impeccable le petit bouton de téléchargement des cours de clôture dans le module graphique :D
Oui juste pour le titre sélectionné
Répondre