Aller au contenu
Renaud @ruralsmart

Bibliostratus : mettre en correspondance ses notices avec celles de la BnF

Messages recommandés

Lully
2 hours ago, DamienVX said:

Bonjour,

Une collègue m'a demandé de tester bibliostratus :

- extraction de quelques notices biblio puis conversion avec marcedit -> ok

- conversion fichier unimarc -> ok

- aligner sers données BIb -> échec

 

Nb ARK trouvés    Nb notices concernées
1    5
3    2
2    1


Problème d'accès aux API Abes


Problème d'accès aux API BnF

 

Même problème avec le fichier d'exemple sur github.

 

Je suis sur un réseau sans proxy.

 

Bonne journée

 

Bonjour @DamienVX, combien y avait-il de notices dans le fichier initial ?

Et comment avez-vous identifié que l'alignement était un échec ?

Le processus d'alignement génère 2 fichiers distincts :

  • un qui s'appelle {prefixe}-rapport_stats (dont vous avez copié-collé le contenu ci-dessus)
  • et un autre qui s'appelle {prefixe}-resultats (dont vous ne dites rien)

Ce dernier fichier était-il vide ? ou carrément absent ?

 

Partager ce message


Lien à poster
Partager sur d’autres sites
DamienVX
il y a une heure, Lully a dit :

 

Bonjour @DamienVX, combien y avait-il de notices dans le fichier initial ?

Et comment avez-vous identifié que l'alignement était un échec ?

Le processus d'alignement génère 2 fichiers distincts :

  • un qui s'appelle {prefixe}-rapport_stats (dont vous avez copié-collé le contenu ci-dessus)
  • et un autre qui s'appelle {prefixe}-resultats (dont vous ne dites rien)

Ce dernier fichier était-il vide ? ou carrément absent ?

 

Avec mon panier de 15 notices, extrait puis converti en unimarc, j'obtient les fichiers en PJ.

 

Dans le 1er fichier, le message :

Problème d'accès aux API Abes

Problème d'accès aux API BnF

me laissait penser que la connexion ne s'établissait pas. 

Que signifie ce message ?

 

J'ai bien des résultats dans le 2ème fichier.

Sous votre contrôle, tout serait donc Ok ?

 

Merci

-rapport_stats_noticesbib2ark.txt

-resultats_noticesbib2arkBnF.txt

Partager ce message


Lien à poster
Partager sur d’autres sites
Lully

@Damien

On 6/15/2018 at 2:35 PM, DamienVX said:

Avec mon panier de 15 notices, extrait puis converti en unimarc, j'obtient les fichiers en PJ.

 

Dans le 1er fichier, le message :

Problème d'accès aux API Abes

Problème d'accès aux API BnF

me laissait penser que la connexion ne s'établissait pas. 

Que signifie ce message ?

 

 

 oui, l'alignement s'est bien passé

En fait sous ces deux rubriques seraient listées les résultats en erreur à des contrôles systématiques sur l'accès aux API (toutes les 100 notices). La liste est vide, donc tout va bien. Mais je n'avais pas vu que si la liste était vide, on comprenait que c'était un message d'alerte. Je corrigerai ça (ticket à traiter)
Ce contrôle systématique toutes les 100 notices, permet d'être alerté, si on envoie un fichier de 10.000 lignes, par exemple, que l'API était inaccessible entre la 7000e et la 8500e notice, et que s'il n'y a pas d'alignement dans le fichier sur cet ensemble de lignes, ce n'est pas qu'il n'existe pas de notice à la BnF ou dans le Sudoc.

Partager ce message


Lien à poster
Partager sur d’autres sites
DamienVX
Le 17/06/2018 à 19:19, Lully a dit :

@Damien

 

 oui, l'alignement s'est bien passé

En fait sous ces deux rubriques seraient listées les résultats en erreur à des contrôles systématiques sur l'accès aux API (toutes les 100 notices). La liste est vide, donc tout va bien. Mais je n'avais pas vu que si la liste était vide, on comprenait que c'était un message d'alerte. Je corrigerai ça (ticket à traiter)
Ce contrôle systématique toutes les 100 notices, permet d'être alerté, si on envoie un fichier de 10.000 lignes, par exemple, que l'API était inaccessible entre la 7000e et la 8500e notice, et que s'il n'y a pas d'alignement dans le fichier sur cet ensemble de lignes, ce n'est pas qu'il n'existe pas de notice à la BnF ou dans le Sudoc.

Merci pour ces réponses.

 

Pour les développements à venir, une suggestion peut être : ajouter la possibilité de renseigner les paramètres proxy dans le programme (hôte, port, identifiant, mot de passe).

En général le sigb est sur un réseau avec proxy. 

 

Bonne journée 

Partager ce message


Lien à poster
Partager sur d’autres sites
Hel

Bonjour,

je vous fais un petit compte rendu des tests côté Bibliothèque départementale des Côtes d'Armor :

impossible de produire un tableau depuis un fichier d'export de notices iso2709 du SIGB Aloes 2.1.5. Même avec les procédures de conversion MarcEdit et Notepad

 

Du coup j'ai testé sur PMB (joie, bonheur :-)) :

  • import de notices BCA dans PMB
  • export depuis PMB de 300 notices en marc
  • converties ensuite en xml grâce à MarcEdit
  • converties ensuite en utf8 grace à Notepad++ (j'ai testé "encoder" qui n'a pas fonctionné, puis "convertir" qui m'a permis ensuite d'obtenir un fichier au bon format)

Puis alignées sur les notices BNF : 37 alignements trouvés !

 

J'ai testé tout ça sur un portable hors réseau. Je ne suis pas du tout pro des formats d'échange.

Pour Aloes, si d'autres ont des tuyaux je suis preneuse..

Je joins le fichier résultat si vous avez le temps de regarder si c'est bien le résultat attendu.

Merci d'avance !

PNBTAB-resultats_noticesbib2arkBnF.txt

Partager ce message


Lien à poster
Partager sur d’autres sites
Lully
On 8/14/2018 at 5:34 PM, Hel said:

Puis alignées sur les notices BNF : 37 alignements trouvés !

 

@Hel Bonjour, je viens de regarder le fichier déposé.

Il y a effectivement quelques alignements, mais c'est seulement 10% du corpus si je comprends bien.

Un problème essentiel (et récurrent) vient de l'encodage : comme on le voit dans le fichier http://www.agorabib.fr/applications/core/interface/file/attachment.php?id=372

les caractères accentués passent mal : "©a" au lieu de "â", "ℓe" au lieu de "è"

Donc s'il est impossible de faire un extraction UTF-8 propre, ça veut dire qu'une fois les tableaux obtenus (suite à la conversion de l'iso2709 en tableaux), il faut faire une succession de chercher-remplacer :

©a --> â

©e --> ê

©i --> î

©o --> ô

©u --> û

ℓa --> à

ℓe --> è

℗e --> é

et les caractères qui correspondent aux ä, ë, ï, ö, ü, ç (et ce sera déjà pas mal)

 

avant de lancer l'alignement

 

Tenez nous au courant !

Partager ce message


Lien à poster
Partager sur d’autres sites
Bibliosurf

Je cherche des expériences d'utilisation de Bibliostratus pour fusionner des notices.

Je suis particulièrement preneur de retours d'expériences qui concerneraient des collectivités qui ont fusionné leurs catalogues préalablement gérés sur des SIGB différents.

D'avance merci.

Partager ce message


Lien à poster
Partager sur d’autres sites
Lully
On 9/5/2018 at 7:30 PM, Bibliosurf said:

Je cherche des expériences d'utilisation de Bibliostratus pour fusionner des notices.

Je suis particulièrement preneur de retours d'expériences qui concerneraient des collectivités qui ont fusionné leurs catalogues préalablement gérés sur des SIGB différents.

D'avance merci.

 

Je crois que le réseau des médiathèques de Montpellier a fait ça, mais le responsable de la migration est parti à Athènes au 1er septembre...

Partager ce message


Lien à poster
Partager sur d’autres sites
irassant

à Cagnes nous ne l'utilisons que pour repérer les erreurs ... nous n'avons pas demander à Archimed de récupérer les données , ceci dit nous passons pour ce faire par notre vendangeur

Partager ce message


Lien à poster
Partager sur d’autres sites
FabM

Bonjour,

j'ai fait un essai d'alignement un peu conséquent (un peu plus de 3800 notices) hier avec Bibliostratus et j'ai rencontré le message suivant :

image.png.40d450feafd1b428ec016728a29105ca.png

J'ai lancé le programme hier, il n'est toujours pas fini et je n'ai rien récupéré en terme de fichiers (rapport stat & résultats).

Effectivement, il y a une petite erreur dans mon tableau de départ, mais il me semblait que le programme "sautait la ligne" dans ce cas.

Est-ce que c'est lié à l'encodage du fichier ??

Merci d'avance pour vos éclairages.

Fabienne (bib de Caen)

Partager ce message


Lien à poster
Partager sur d’autres sites

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant

×