[Intégré 5.8.55.5328] Importation - Règles d'importation à appliquer sur les données importées

[Jacques Leblond]

Bonjour,

Afin de mieux percevoir vos besoins en terme de règles à appliquer sur les opérations courantes importées depuis un fichier au format Ofx, je vous propose de les exprimer dans ce sujet. Ils constitueront vos spécifications le jour où j'engagerai ce développement.
Ce développement n'est pas encore planifié, il le sera ultérieurement lorsque ceux prioritaires seront réalisés.

Je vous propose de structurer vos règles sous forme d'exemple, à l'image du tableau ci-dessous.
Si vous n'arrivez pas à exprimer une règle sous ce format, rédigez la littéralement de façon la plus succincte possible.

Les règles seront traitées dans l'ordre pour chaque opération. Pour cet exemple, je me suis inspiré d'un extrait du fichier posté dans ce message.

[td=1,][b]Ordre[/b][/td][td=1,][b]Champ : <BALISE OFX>[/b][/td][td=1,][b]Action[/b][/td][td=1,][b]Résultat[/b][/td][td=1,][b]Condition : Si ...[/b][/td][td=1,]1[/td][td=1,]<TRNTYPE>[/td][td=1,]Remplacer champ par[/td][td=1,]<MEMO>[/td][td=1,][/td][td=1,]2[/td][td=1,]<MEMO>[/td][td=1,]Supprimer contenu[/td][td=1,][/td][td=1,][/td][td=1,]3[/td][td=1,]<TRNTYPE>[/td][td=1,]Remplacer contenu par[/td][td=1,]Versement[/td][td=1,]<TRNTYPE> = VIREMENT EN VOTRE FAVEUR[/td][td=1,]4[/td][td=1,]<TRNTYPE>[/td][td=1,]Remplacer contenu par[/td][td=1,]Prélèvement[/td][td=1,]<TRNTYPE> = PRELEVEMENT[/td][td=1,]5[/td][td=1,]<TRNTYPE>[/td][td=1,]Remplacer contenu par[/td][td=1,]Chèque émis[/td][td=1,]<TRNTYPE> = CHEQUE EMIS[/td][td=1,]6[/td][td=1,]<TRNTYPE>[/td][td=1,]Remplacer contenu par[/td][td=1,]Carte bancaire[/td][td=1,]<TRNTYPE> = PAIEMENT ELECTRONIQUE[/td][td=1,]7[/td][td=1,]<GESCB>[/td][td=1,]Ajouter champ[/td][td=1,]Carte Visa[/td][td=1,]<TRNTYPE> = Carte bancaire[/td][td=1,]8[/td][td=1,]<REFNUM>[/td][td=1,]Remplacer champ par[/td][td=1,]<NAME>[/td][td=1,]<NAME> commence par un chiffre[/td][td=1,]9[/td][td=1,]<NAME>[/td][td=1,]Supprimer contenu[/td][td=1,][/td][td=1,]<NAME> commence par un chiffre[/td][td=1,]10[/td][td=1,]<NAME>[/td][td=1,]Remplacer contenu par[/td][td=1,]Tiers à définir[/td][td=1,]<NAME> est vide[/td][td=1,]11[/td][td=1,]<NAME>[/td][td=1,]Mettre en minuscule[/td][td=1,][/td][td=1,][/td][td=1,]12[/td][td=1,]<NAME>[/td][td=1,]Supprimer caractères numériques[/td][td=1,][/td][td=1,][/td]

Rappel de l'association des Balises OFX aux champs de GesFine

• <TRNTYPE> Type de l'opération
  <DTPOSTED> Date de valeur
  <DTUSER> Date de l'opération
  <TRNAMT> Montant
  <FITID> Identifiant de l'opération
  <NAME> Libellé/Tiers
  <MEMO> Notes
  <CHECKNUM>, <REFNUM> Référence du virement ou du chèque

Les champs (balises) propres à GesFine pouvant être ajoutés dans le format Ofx sont :

• <GESCB> : pour le nom de la carte bancaire
  <GESCAT> : pour le nom de la catégorie
  <GESSUBCAT> : pour le nom de la sous catégorie
  <GESLINK> : pour l'adresse de la pièce jointe
  <GESMARKER> : pour les noms des marqueurs (séparés par des | )

Si vous souhaitez écrire vos règles dans un tableau, voici un extrait du code à copier dans votre message.

Code : Tout sélectionner

[corners=forumbg forumbg-table][table=tablebg table1][tr=bg3][td=1,][b]Ordre[/b][/td][td=1,][b]Champ (balise ofx)[/b][/td][td=1,][b]Action[/b][/td][td=1,][b]Résultat[/b][/td][td=1,][b]Condition : Si ...[/b][/td][/tr][tr=bg1][td=1,]1[/td][td=1,][/td][td=1,][/td][td=1,][/td][td=1,][/td][/tr][tr=bg1][td=1,]2[/td][td=1,][/td][td=1,][/td][td=1,][/td][td=1,][/td][/tr][tr=bg1][td=1,]3[/td][td=1,][/td][td=1,][/td][td=1,][/td][td=1,][/td][/tr][tr=bg1][td=1,]4[/td][td=1,][/td][td=1,][/td][td=1,][/td][td=1,][/td][/tr][tr=bg1][td=1,]5[/td][td=1,][/td][td=1,][/td][td=1,][/td][td=1,][/td][/tr][tr=bg1][td=1,]6[/td][td=1,][/td][td=1,][/td][td=1,][/td][td=1,][/td][/tr][tr=bg1][td=1,]7[/td][td=1,][/td][td=1,][/td][td=1,][/td][td=1,][/td][/tr][tr=bg1][td=1,]8[/td][td=1,][/td][td=1,][/td][td=1,][/td][td=1,][/td][/tr][/table][/corners]

Ecrivez ensuite le contenu de chaque cellule entre les balises

Code : Tout sélectionner

[td=1,]contenu de la cellule[/td]

[Jacques Leblond]

Bonjour,

En commençant à réfléchir à ce sujet, je me demande s'il est bon de définir des règles spécifiques au format du fichier contenant les données, en effet, si je procède ainsi, il faut définir des règles spécifiques pour le format ofx, des règles spécifiques pour le format qif et idem pour les formats texte.

L'alternative qui me semble plus simple et plus universelle serait de définir des règles sur le format de données de GesFine, concrètement cela signifie qu'il faut appliquer les règles sur le résultat de l'importation et pas sur la source de données.
Ainsi un jeu de règles pourrait s'appliquer à tous les formats de fichiers. Par contre la construction du jeu de règle ne se ferait pas uniquement en lisant le fichier à importer mais surtout en constatant son résultat dans le formulaire de validation des opérations à importer.

Pour la plupart des champs, cela ne devraient pas poser de problème, par contre les champs où GesFine définit le contenu en cas de valeur absente ou erronée nécessiteront la lecture du fichier source pour bien comprendre le résultat dans le formulaire d'importation.
Par l'exemple :

• si le type de l'opération dans le fichier source est égal à "Carte", GesFine va le transformer en "Prélèvement" car le type "Carte" n'est pas connu.
  Dans ce cas, il faudra définir une règle de modification sur le type tel que Type = "Carte bancaire si Type = "Carte"
• si le type de l'opération n'était pas connu du fichier source, GesFine va aussi l'affecter comme "Prélèvement", il faudra dans ce cas créer une règle d'ajout tel que Type = "Carte bancaire"

Sauf si vous voyez un écueil à procéder ainsi, je vais m'orienter vers cette solution, qui me parait plus simple à réaliser, plus durable car plus indépendante de l'évolution des structures des fichiers sources et aussi beaucoup plus simple à maintenir à l'usage.

[Jacques Leblond]

Bonjour

Je poursuis ma réflexion sur ce sujet et je me pose la question suivante :

Faut-il pouvoir exprimer une condition d'application de la règle (colonne : "Condition Si ..." du tableau ci-dessus) avec plusieurs groupes de condition séparées par l'opérateur ET (voire l'opérateur OU mais dans ce cas on pourrait toujours écrire une nouvelle règle pour chaque groupe de condition) ?

Si non c'est beaucoup plus simple à réaliser (y compris au niveau de l'interface utilisateur), si oui le travail est beaucoup plus important mais comme aucun n'utilisateur ne s'est exprimé jusqu'à maintenant sur un besoin, j'hésite à m'engager dans un développement complexe et inutile.

Votre avis ?

[Patrice15220]

Bonjour Jacques,

J'utilise beaucoup l'importation de fichier OFX, mais j'avoue ne pas trop comprendre le développement que tu souhaites en faire.

En effet, l'importation actuelle me (mais cela n'engage que moi) convient déjà parfaitement avec la modification que tu avais faite à ma demande pour ne pas cocher les opérations susceptibles de déjà figurer dans GesFine.

En d'autre terme, je ne pense pas que cela nécessite que tu y consacres plus que nécessaire ton précieux temps.

[noftal]

Moi non plus j'ai du mal à me projeter dans ce que tu souhaites.
Maintenant que l'importation depuis Money est du passé, les seules importations que j'utilise sont au format CSV (importations de cours)

[Jacques Leblond]

j'avoue ne pas trop comprendre le développement que tu souhaites en faire.

L'application de règles permettrait de modifier les données importées, soit pour en améliorer le contenu, soit pour les compléter, ce qui éviterait soit de reprendre une à une les opérations importées, soit de retravailler le fichier source.
Par exemple pour l'importation des fichiers qif en provenance de Money, cela permettrait d'éviter de passer par des macros excel pour ajouter la carte bancaire aux opérations effectuées par carte.
Pour ceux qui importe leur opération en vie courante depuis une extraction de leur banque, cela permet de mettre en conformité les champs du format ofx avec ceux de GesFine, les banques faisant un peu n'importe quoi à ce niveau.Voici une opération extraite de ce message :

Code : Tout sélectionner

<STMTTRN><TRNTYPE>OTHER<DTPOSTED>20131226<TRNAMT>-3821.73<FITID>3434100025004<NAME>7506037/0000000/000000000<MEMO>CHEQUE EMIS</STMTTRN>

Le type n'est pas défini (<TRNTYPE>OTHER), donc dans GesFine ce sera par défaut un Prélèvement, or dans <MEMO> on voit que c'est un chèque, l'écriture d'une règle pourrait donc corriger les données : Si <MEMO> = CHEQUE EMIS Alors <TRNTYPE> = Chèque émis, ainsi l'opération serait affectée au bon type dans GesFine.
<NAME>, qui correspond au tiers, semble être le n° du chèque, plutôt que de l'importer comme un Tiers on pourrait l'affecter au champ "Référence" de GesFine.

Maintenant que l'importation depuis Money est du passé, les seules importations que j'utilise sont au format CSV (importations de cours)

Pour une importation de cours, tu pourrais ne pas avoir le code ISIN dans ton fichier, la création d'une règle pourrait ajouter automatiquement un code ISIN s'il s'agit des cours d'un unique titre bien sûr.

[noftal]

OK, mais à chaque banque correspond un formatage particulier, donc une matrice de transfert différente.
Comment vas-tu faire ?

[Jacques Leblond]

L'utilisateur définit un format avec un jeu de règles spécifiques pour chacune de ses banques, charge à lui de sélectionner le bon format d'importation au moment de l'importation du fichier.
Le nombre de format d'importation n'est pas limité, tu peux avoir plusieurs formats "ofx" avec des paramètres différents par exemple.

EDIT : je ne l'ai peut être pas précisé mais les règles seront attachées à un format d'importation.

[Patrice15220]

Personnellement, j'importe les fichiers OFX depuis ma banque (environ une dizaine d'écritures journalières) et je t'avoue que la modification de chacune d'entre elle ne prend pas beaucoup de temps.
Principalement, je modifie le nom du Tiers qui depuis le temps est connu dans GesFine et cela me modifie automatiquement les catégories et sous-catégories.
L'intégration de la référence se fait automatiquement, le champ est le bon.

Petite question : Si j'ai bien compris, nous pourrons donc définir une règle qui modifiera un tiers importé depuis la banque avec un nom souvent farfelu par celui que nous utilisons dans GesFine, mais est-ce que les catégories et sous-catégorie pourront être également définies ?

[Jacques Leblond]

nous pourrons donc définir une règle qui modifiera un tiers importé depuis la banque avec un nom souvent farfelu par celui que nous utilisons dans GesFine, mais est-ce que les catégories et sous-catégorie pourront être également définies ?

Oui pour le tiers (Si Tiers = Toto Alors Tiers = Tata)
Oui pour les catégories (Si Tiers = Tata alors SousCatégorie = Titi) mais cela est redondant avec la recherche et l'affectation des catégories selon les tiers.
Malgré tout parfois pour un même tiers on peut avoir 2 catégories, donc en écrivant une règle on force le tiers à avoir par défaut toujours la même catégorie et pas la dernière catégorie qui lui a été affectée dans GesFine.

[Patrice15220]

Bien compris, mais cela risque tout de même d'être fastidieux pour enrichir les règles d'importation au fur et à mesure des modifications rencontrées ?

[Jacques Leblond]

C'est à chacun de voir mais dès lors qu'une modification se répète, il est intéressant de créer une règle, ça ira toujours plus vite que de modifier les opérations importées.

Il faut trouver le bon compromis de gestion. Pour les tiers et catégories le besoin est peut être moins prononcé car la diversité des tiers impose l'écriture de nombreuses règles, mais on peut imaginer le faire que pour les tiers associé à des achats chroniques.
Par contre pour des problèmes de structure des données comme dans l'exemple de l'opération ofx évoquée ci-dessus, l'écriture d'une règle devient vraiment utile.

Maintenant que vous percevez le potentiel de l'évolution, avez-vous une réponse à ma question ?
En gros est ce qu'il faut que je puisse écrire

Code : Tout sélectionner

Tiers = Tata Si Tiers = Toto ET Si Catégorie = Titi (ici on a 2 groupes de condition séparées par l'opérateur ET).

Ou puis je me contenter d'avoir des règles toujours avec un unique groupe

Code : Tout sélectionner

Tiers = Tata Si Tiers = Toto 
Tiers = Tata Si Catégorie = Titi

[Patrice15220]

Je pense qu'il ne faut pas trop complexifier et la deuxième méthode me parait bonne.

EDIT : Pourras-t-on faire une recherche conditionnelle, par ex: si Tiers = Tot* alors Tiers = Tata

[noftal]

Je ne vais pas pouvoir répondre à ta question, faute d'avoir expérimenté un relevé Ofx de banque.
Quand j'étais sous Money, j'ai téléchargé pendant une période mes relevés bancaires au format QIf de ma banque.
Mais j'ai abandonné car leur correction ensuite sous Money me prenait autant de temps que de saisir au fil de l'eau mes opérations manuellement.
De mémoire, je ne me souviens pas avoir observé de logique dans les données affichées dans les QIF de ma banque. En gros, ces QIF contenaient la date, le montant et un champ notes contenant un numéro suivi éventuellement d'un tiers, ce dernier étant souvent abrégé.
Si c'est toujours le cas, je ne vois pas quel algo de conversion on pourrait imaginer puisque le champ notes ne répondait pas à une logique particulière.

[noftal]

En me rafraichissant la mémoire, je me souviens que le but du téléchargement du QIF permettait à Money de rapprocher ce QIF des opérations enregistrées manuellement au fil de l'eau manuellement.
Donc
1°/ cela ne me dispensait pas de saisir mes opérations
2°/ cela avait pour but d'éviter le rapprochement manuel et donc visuel du relevé bancaire
3°/ en fait, le gain de temps espéré au 2°/ était compensé par une perte de temps pour associer les lignes du QIF de celles de Money.

Je viens de regarder l'offre de service de ma banque (SOGE): on peut télécharger les relevés au format QIF, XLS, CSV et TSV
Je t'envoie par mail un aperçu.

[Jacques Leblond]

Oui c'est effectivement inexploitable, trop d'informations sont regroupées dans un même champ, on ne peut pas les extraire par des règles.

[Jacques Leblond]

EDIT : Pourras-t-on faire une recherche conditionnelle, par ex: si Tiers = Tot* alors Tiers = Tata

Il faudrait que je le prévois

[Jacques Leblond]

Bonjour,
Je viens de terminer la première partie de cette évolution en développant les formulaires de gestion des règles et leur stockage en base de données.
La deuxième partie consiste maintenant à appliquer ces règles lors de l'importation des données.

En attendant la réalisation de cette dernière partie, ceux qui le souhaitent peuvent charger la dernière version intermédiaire pour commencer à constituer leurs jeux de règles et vérifier que leur besoin est couvert par les différents types d'actions et conditions disponibles.

L'accès au formulaire de gestion des règles s'effectue via le bouton en bas des paramètres définissant un format d'importation.
N'hésitez pas à exprimer votre besoin dans ce sujet si vous ne voyez pas comment l'exprimer avec les règles.

[Patrice15220]

Bonjour Jacques,

J'ai testé la création des règles d'importation et cela me paraît cohérent.

Par contre je me pose une question, à savoir, lorsque nous ferons l'importation avec des règles qui remplacent le contenu "Libellé, Tiers" est-ce que ces remplacements apparaîtront dans le formulaire "Validation des opérations à importer" et est-ce que les catégories et sous-catégories seront automatiquement modifiées en fonction de chaque tiers en lieu et place par exemple de "Crédit Divers / Versement Intercomptes" pour un crédit ou "Débit Divers / Prélèvement Intercomptes" pour un débit ?

Par contre, j'ai constaté un dysfonctionnement. J'avais créer plusieurs règles sur un format d'opération courantes qui se nommait "Money (ofx)". Pour des raisons de classement comme je possède plusieurs formats, j'ai voulu le renommer en "1 - Money OFX" et j'ai constaté que toutes les règles qui lui étaient associées ont été perdues après enregistrement.

Si, impossibilité de renommer, ne pourrait-on pas dupliquer les règles d'importation sur un format fraîchement créé ?

EDIT : Autre information, si tu modifie les propriétés d'un format d'importation sur lequel il y a des règles, celles-ci sont également perdues après enregistrement.

[Jacques Leblond]

Bonjour Patrice

lorsque nous ferons l'importation avec des règles qui remplacent le contenu "Libellé, Tiers" est-ce que ces remplacements apparaîtront dans le formulaire "Validation des opérations à importer" et est-ce que les catégories et sous-catégories seront automatiquement modifiées en fonction de chaque tiers en lieu et place par exemple de "Crédit Divers / Versement Intercomptes" pour un crédit ou "Débit Divers / Prélèvement Intercomptes" pour un débit ?

Oui, les règles seront appliquées sur les opérations avant leur validation, le résultat apparaîtra donc dans le formulaire de validation.

Par contre, j'ai constaté un dysfonctionnement. J'avais créer plusieurs règles sur un format d'opération courantes qui se nommait "Money (ofx)". Pour des raisons de classement comme je possède plusieurs formats, j'ai voulu le renommer en "1 - Money OFX" et j'ai constaté que toutes les règles qui lui étaient associées ont été perdues après enregistrement

J'ai pas réussi à reproduire ce cas

si tu modifie les propriétés d'un format d'importation sur lequel il y a des règles, celles-ci sont également perdues après enregistrement.

Par contre j'ai bien reproduit celui là, je regarde et corrige. Il est probable que les 2 erreurs soient liées par la même cause.