Import des opérations courantes depuis Boursorama Banque

Message par **Deggi** » 18 octobre 2019, 08:46

Bonjour,

Depuis au moins hier, je n'arrive plus à télécharger mes opérations courantes depuis boursorama banque.
Dans le log je vois les lignes suivantes :
18/10/2019 08:39:47.200 Boursorama csv TC BuildElements Failed on NS_InitXPCOM2
18/10/2019 08:39:47.185 Boursorama csv TC BuildElements Failed on NS_InitXPCOM2
18/10/2019 08:39:47.059 Boursorama csv TC Identification No cookie recovered
18/10/2019 08:39:47.051 Boursorama csv TC BuildElements Already connected or Failed on NS_InitXPCOM2

Mes sources de données sont à jour...
Mes identifiants n'ont pas changé.
Et je ne suis pas déjà connecté via mon navigateur WEB....
Est-ce un problème chez Bourso, dans la source, chez moi ?
Merci pour votre aide !

Bonne journée,

Mathieu.

Message par **Jacques Leblond** » 18 octobre 2019, 13:28

Bonjour Mathieu,
Peux tu me dire si tu constates le même problème en utilisant la source de Navigation "Boursorama Client" (juste pour se connecter et naviguer ensuite sur le site) ?
Cela me permettrait de savoir si le problème se situe bien sur l'instanciation du navigateur comme semble l'indiquer les messages ou après.
De mon coté, je ne rencontre pas de problème avec de faux identifiants, le clavier virtuel parait OK.

EDIT : Peux tu réinstaller GesFine afin de s'assurer que tu as tous les fichiers Gecko dans le répertoire "Firefox" que tu trouves à la racine d'installation de GesFine, et lancer GesFine directement avec son exécutable pour faire le test évoqué.
EDIT2 : Peux aussi faire le test avec une source de navigation qui utilise Firefox sans être sur le site Boursorama ?

Message par **Deggi** » 18 octobre 2019, 15:41

Bonjour Jacques,

Alors...
1°) Après réinstallation de la dernière version intermédiaire, j'avais le message suivant :
18/10/2019 15:26:02.022 Boursorama csv TC Navigation, Code: 00040711245 Link not found at line 1
J'ai activé l'affichage des pages, et j'ai vu que la connexion à mon espace client fonctionne. Par contre, j'avais un compte titre comme compte favori, et donc une premiere page un peu différente. J'ai donc remis un compte courant en favori afin de retrouver une page d'accueil plus classique... Mais, maintenant j'ai le log suivant :
18/10/2019 15:28:21.577 Boursorama csv TC Navigation, Code: 00040711245 Time Out at line 3
Et lors de la navigation il m'affiche une page qui indique "cette page n'existe plus"...

2°) du coup, je confirme bien que la source de navigation fonctionne...

Je me demande si ma page d'accueil Bourso n'a pas quelque chose de spécial qui fait que la source se perd...

Merci pour ton aide !

Mathieu

Message par **Jacques Leblond** » 18 octobre 2019, 16:06

Ok, tes précédents messages concernant l'instanciation du navigateur n'apparaissent plus, la réinstallation de GesFine a certainement corrigé le problème.

"Link not found at line 1" confirme que l'élément recherché n'existe plus dans ta page d'accueil, de mémoire on recherche juste un lien (bidon) dont on modifie l'url puis on exécute notre url qui doit déclencher le téléchargement du fichier.

"Time Out at line 3" le précédent lien a été trouvé mais aucun fichier n'est trappé, d'où le timeout.

Deggi a écrit : ↑18 octobre 2019, 15:41 Et lors de la navigation il m'affiche une page qui indique "cette page n'existe plus"

De quel page, url parles tu ? L'url de la source que tu trouves dans l'item 2 du tableau des éléments de navigation ?
Si oui, la source nécessite peut être une modification.

EDIT : est ce que l'url, que tu trouves dans l'item 2 des éléments de navigation de la source, fonctionne dans ton propre navigateur après t'être connecté sur le site Boursorama et en ayant remplacé les {n} par les dates de début et fin (Prend une date de début au 1/10/2019 et une date de fin au 17/10/2019) avec :

{1} jour de début
{2} mois de début
{3} année de début
{4} jour de fin
{5} mois de fin
{6} année de fin

Message par **Deggi** » 18 octobre 2019, 17:02

Jacques,

Je te confirme qu'une fois connecté à mon espace client dans Chrome, l'adresse suivante renvoie "cette page n'existe plus" :
//clients.boursorama.com/budget/exporter-mouvements?movementSearch%5BfromDate%5D=01%2F10%2F2019&movementSearch%5BtoDate%5D=30%2F10%2F2019&movementSearch%5Badvanced%5D=1&_format=csv

Il semble donc effectivement que ce soit la ligne de commande boursorama qui a changé...
Quand j'exporte manuellement le csv pour un compte unique, l'adresse générée par Bourso ressemble à :

//clients.boursorama.com/budget/exporter-mouvements?movementSearch%5Blabel%5D=&movementSearch%5BfromDate%5D=01%2F10%2F2019&movementSearch%5BtoDate%5D=30%2F10%2F2019&movementSearch%5Bperiod%5D=currentMonth&movementSearch%5BfromAmount%5D=&movementSearch%5BtoAmount%5D=&movementSearch%5Bcategory%5D=&movementSearch%5Bchecked%5D=&movementSearch%5Badvanced%5D=1&movementSearch%5Bgraph%5D=&accountsWithCardsKeys=9a18d3c21118d9a422512841e69a6f1f&format=csv

Si je le fais pour plusieurs compte :

//clients.boursorama.com/budget/exporter-mouvements?movementSearch%5Blabel%5D=&movementSearch%5BfromDate%5D=01%2F10%2F2019&movementSearch%5BtoDate%5D=30%2F10%2F2019&movementSearch%5Bperiod%5D=currentMonth&movementSearch%5BfromAmount%5D=&movementSearch%5BtoAmount%5D=&movementSearch%5Bcategory%5D=&movementSearch%5Bchecked%5D=&movementSearch%5BselectedAccounts%5D%5B%5D=9a18d3c21118d9a422512841e69a6f1f&movementSearch%5BselectedAccounts%5D%5B%5D=e18b1e15a6c9b89cb4e5061ab6204324&movementSearch%5BselectedAccounts%5D%5B%5D=b151ed2efa9bfb27e6ee6edd9f4fe354&movementSearch%5BselectedAccounts%5D%5B%5D=471cc0a9ae23f9e5e81d5ba5b05ec899&movementSearch%5Badvanced%5D=1&movementSearch%5Bgraph%5D=&accountsWithCardsKeys=&budgetView=1&format=csv

(j'ai enlevé le https: pour que l'adresse s'affiche de facon complete dans le forum...)

Question : le fait de préciser le compte n'est-il pas devenu obligatoire ?

Mathieu.

Message par **Jacques Leblond** » 18 octobre 2019, 17:35

En comparant l'adresse de la source avec ta première adresse, les champs valorisés sont les mêmes à l'exception des paramètres "period" et "accountsWithCardsKeys". La période me semble redondante avec la plage de date. Par contre le paramètre "format" est précédé d'un "_".
Peux-tu tester l'url avec le _ supprimé

Code : Tout sélectionner

https://clients.boursorama.com/budget/exporter-mouvements?movementSearch%5BfromDate%5D=01%2F10%2F2019&movementSearch%5BtoDate%5D=30%2F10%2F2019&movementSearch%5Badvanced%5D=1&format=csv

Message par **Deggi** » 18 octobre 2019, 18:25

J'avais vu ça, et j'avais déjà essayé...
Je viens de le refaire, et je te confirme que cela ne passe pas...
J'ai vraiment l'impression qu'il faut maintenant préciser le ou les comptes...

Message par **Jacques Leblond** » 18 octobre 2019, 18:41

Si tu essayes ta première adresse sans le paramètre "accountsWithCardsKeys", ça donne quoi ? Elle ne semble pas préciser un compte.
Le serveur attend peut être certains des paramètres même vides.

Si on a besoin de préciser les comptes, il faudra passer par l'IHM en navigation pour les cocher/sélectionner, car leur identifiant est codé dans l'url.

Message par **Deggi** » 18 octobre 2019, 20:33

Verdict : il faut soit passer le paramètre accountsWithCardsKeys soit le parametre selectedAccounts. Sans cela, je n'arrive pas à le faire fonctionner...
Par contre, les identifiants des comptes sont les mêmes à chaque nouvelle connexion...
Du coup, il faudra que j'inclue tous les comptes qui m’intéressent dans l'URL qu'appelle la source...
Ou alors, prévoir un nouveau champ avec un identifiant quelque part... (peut être dans la définition du compte si la source y a accès ..)

Message par **Jacques Leblond** » 18 octobre 2019, 20:36

Ok on progresse !
Quand tu passes le paramètre accountsWithCardsKeys , tu récupères 1 compte en particulier ou tous les comptes ?

EDIT : Visiblement l’identifiant associé à accountsWithCardsKeys correspond à l'un de tes comptes, au premier de ta deuxième adresse.
Dans ton fichier csv tu as bien le vrai numéro de tes comptes ?

Message par **Deggi** » 18 octobre 2019, 23:03

D'abord, oui, je te confirme que dans le CSV j'ai bien le bon numéro de compte.
A priori, quand je demande l'extraction d'un seul compte Bourso génère un lien avec le parametre accountsWithCardsKeys, et quand je demande l'extraction pour plusieurs compte ils utilisent le paramètre selectedAccounts.

EDIT : le numéro de compte dans l'URL ressemble à un cryptage MD5. J'ai essayé, et ça n'est pas du MD5... Mais quelque chose qui y ressemble fortement...

Message par **Jacques Leblond** » 18 octobre 2019, 23:12

Ok Mathieu
On peut gérer la source avec 2 numéros pour les comptes, je te proposerai une source en début de semaine prochaine, par contre il n'est pas très simple pour tous de trouver l'id codé dans l'adresse...
Il faut aussi s'assurer qu'il ne change pas, tu me le confirmeras dans quelques jours.

Message par **Deggi** » 18 octobre 2019, 23:22

Merci Jacques.
Il n'y a pas le feu....
Pour trouver le numéro de compte "chiffré" c'est simple. Il suffit d'afficher les mouvements d'un compte et d'analyser l'URL.
Elle est de type :

Code : Tout sélectionner

https://clients.boursorama.com/compte/cav/xxx/mouvements

où xxx est le numéro de compte chiffré.
Je ne pense pas que le numéro chiffré change. Mais je te le confirmerai au besoin.
Merci pour ton aide et bon WE !

Message par **Jacques Leblond** » 18 octobre 2019, 23:50

Voici une source à tester, je n'ai pas rajouté d'autres paramètres que "accountsWithCardsKeys"
J'ai mis à jour les notes de la source en fonction de tes indications.
Lis le paragraphe "Code de téléchargement" pour définir le double code dans les propriétés du compte.
Il faudra peut être faire encore quelques ajustements si il manque des paramètres attendus.

C'est moi qui te remercie pour ta contribution

Bon week-end

"Fichier supprimé"

Message par **Deggi** » 20 octobre 2019, 22:37

Merci Jacques, la source fonctionne pour ce qui est purement de la source, mais il semble que le format d'importation doive également être adapté.
J'ai regardé ça vendredi dans la nuit, et je n'ai pas pu m'y remettre depuis, mais de mémoire, j'ai du changer le format de date, et j'ai dû désactiver la règle de filtrage sur le champ "lien pièce jointe"... Je n'ai plus tout en tête, et à force modifier le format d'importation, je ne sais plus trop ce que j'ai fait... Il faudra que je reparte de la version d'origine...
Cela m'a amené à une autre question : as tu une astuce pour debugger un format d'importation (à priori j'imagine que la règle ne retrouvait pas le numéro de compte...) ? En l’occurrence, j'ai compris que le filtrage filtrait tout, mais je n'ai pas compris pourquoi... A-t-on une solution pour visualiser le résultat des règles et des conversions ?

Mathieu.

Message par **Jacques Leblond** » 21 octobre 2019, 10:58

Bonjour Mathieu,
La colonne "Pièce jointe" correspond à la colonne qui contient le numéro du compte.
Avec l'ancienne source, on rapatriait tous les comptes ou juste un compte mais dans ce cas la colonne était vide, donc le format supprimait la date de toute opération dont le compte ne correspondait pas au numéro de compte indiqué dans le champ "code de téléchargement".
Pour moi, cela devrait continuer de marcher sauf si le numéro indiqué dans le fichier csv n'est plus celui correspondant au code de téléchargement (le premier code maintenant, celui qui précédè le ~).
Cela dit puisque l'on ne charge plus qu'un compte, les 2 dernières règles ne me semblent plus utiles.
Peux tu m'envoyer sur mon mail un petit extrait de ton fichier csv que je vérifie la structure du format ?

Sinon il n'y a pas vraiment de log associé à l'application des règles, pour voir le résultat il faut demander la validation des opérations dans les propriétés du compte, et le résultat de l'application des règles du format se constate dans ce formulaire avant importation dans le livre de comptes.

Message par **Jacques Leblond** » 21 octobre 2019, 12:08

Re Mathieu,
J'ai bien reçu ton extrait de fichier. La structure du format a changé, je l'ai donc mise à jour.
J'ai pu à partir de tes quelques opérations reprendre la règle sur les cartes bancaires, et par extrapolation celui des retraits bancaires (en espérant que le libellé est similaire à celui des cartes pour l'expression des dates).
J'ai gardé la condition sur le numéro de compte dans la colonne "Pièces jointes" par sécurité.

Je te joint la source, si tu remarques des améliorations possibles sur les autres règles pour la mise au format des libellé/tiers, n'hésite pas à m'en faire part pour que je les intègre dans le format.

J'attends ton retour avant de mettre à disposition la source sur le serveur de GesFine.

Message par **Deggi** » 21 octobre 2019, 15:42

Jacques,

En complément de mon mail, voici un exemple de chaque type d'opération que j'ai eu sur les dernières semaines...
(désolé, je n'ai pas fait de retrait d'espèce...

)

Code : Tout sélectionner

PRLV SEPA Nom du tiers
CARTE 14/10/19 59 LEROY MERLIN   CB*1987
CARTE 02/10/19 TankCenter Europo CB*1986
CHQ. N.1234567
VIR SEPA Nom du destinataire
*INTERETS DEBITEURS AU 30/09/19
ECH PRET:000000000123456789

Concernant les paiements CARTE, si le paiement à lieu en France, il y a le code du département avant le tiers, et si le paiement à lieu à l'étranger, il n'y a pas ce code... Ensuite, la fin du libellé contient le numéro de carte (ex CB*1987), il convient de l'enlever aussi pour identifier le tiers.
Je propose donc le pattern suivant pour l'extraction du tiers :

Code : Tout sélectionner

^CARTE\s\d{2}/\d{2}/\d{2}\s\d{0,2}(.+)CB.\d{4}

Pour le reste, ça reste très simple je crois...

Message par **Jacques Leblond** » 21 octobre 2019, 16:48

Ok Mathieu, merci pour ton retour.
Pour les cartes, j'ai pris ta pattern, plus précise

Il faudra vérifier le retrait d'espèce à l'occasion.

Je mets à disposition la source sur le serveur.

Message par **Deggi** » 21 octobre 2019, 21:00

Jacques,

je suis désolé de rajouter encore un message sur ce fil qui commence à être un peu long, mais je ne vois pas la source sur le serveur via le menu Config / Gestion des sources... Ai-je un soucis ou la source n'est pas encore disponible ?

Mathieu.

Import des opérations courantes depuis Boursorama Banque

Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Re: Import des opérations courantes depuis Boursorama Banque

Vos avis