SubCorpus2Corpus utility
An utility to create a corpus from texts of a sub-corpus. See https://groupes.renater.fr/wiki/txm-info/public/annotation/specs_manual_annotation/specs_store_annotation#outil_exporttextstocorpus
Validation test
- Create&Select a subcorpus of De Gaulle's texts
- Run the SubCorpus2Corpus macro
- Set the parameters :
- new_corpus_name = TESTCORPUS
- properties_to_remove = frpos
- Run the macro. Output in console is :
Compilation de SubCorpus2CorpusMacro.groovy...
Exécution du script Groovy SubCorpus2CorpusMacro.groovy…
Get text ids from subcorpus...
IDS (10)=[1-De Gaulle-1959, 1-De Gaulle-1960, 1-De Gaulle-1961, 1-De Gaulle-1962, 1-De Gaulle-1963, 1-De Gaulle-1964, 1-De Gaulle-1965, 1-De Gaulle-1966, 1-De Gaulle-1967, 1-De Gaulle-1968]
Export corpus .../corpora/TESTCORPUS.txm...
Delete previous corpus TESTCORPUS
Partition "text@loc" supprimé(e).
Partition "text@id" supprimé(e).
Corpus "199x" supprimé(e).
Concordance "<[]{3,5}>" supprimé(e).
Corpus "TESTCORPUS" supprimé(e).
History "Query history" supprimé(e).
Load corpus...
Delete text files...
.../corpora/TESTCORPUS/txm/TESTCORPUS
Delete properties frpos...
Removing [frpos] to TESTCORPUS XML-TXM files...
10 .........1 - Done
Update corpus TESTCORPUS...
Updating TESTCORPUS
Compiling the "xtz" import module scripts...
Démarrage du module d'import "xtz"...
-- COMPILING - Building Search Engine indexes
-- Scanning structures&properties to create for 10 texts...
10 .........1 - Done
-- Building CQP files 10/10...
10 .........1
-- Running cwb-encode...
Word properties: id, frlemma, n
Structures: lb:0+n, p:0+n, text:0+id+base+project+loc+annee, txmcorpus:0+lang
10 .........1
-- Running cwb-makeall...
-- EDITION - Building editions
-- Building 'default' edition of 10/10 texts...
10 .........1
Re-export corpus .../corpora/TESTCORPUS.txm...
Done: .../corpora/TESTCORPUS.txm
Effectué en 6289 ms.- Load the corpus, check the present texts and that the frpos property is gone
Activity
changed milestone to %TXM 0.8.4
added macros status::to validate labels
added type::feature label
added priority::high label
@txm à tester ;D
TXM 0.8.4 (2024-12-10 10h06) Linux
Testé sur 'VOEUX/text@loc=1 De Gaulle' :
L'utilitaire fait bien le travail, un nouveau corpus racine est construit 'VOEUX-DE-GAULLE' :
Par contre,
1) Le nouveau corpus contient (toutes ?) les partitions et sous-corpus (et résultats ?) du corpus d'origine
Or :
- I) il n'est pas pertinent de garder le sous-corpus à l'origine de la création du nouveau corpus
- II) il n'est pas non plus pertinent de garder la partition VOEUX/text@loc car il n'y a plus qu'une partie à cette partition
Conclusion : s'il n'y a pas de vérifications de contrôle de cohérence sur les partitions et sous-corpus à exporter dans le nouveau corpus, autant ne pas en exporter du tout (au moins dans un premier temps). C'est à dire créer un nouveau corpus sans partitions ni sous-corpus.
2) La majorité des logs mériteraient de passer en niveau CONFIG ou FINE
Pour ne garder que les messages suivants (en reformulant certains messages, voir plus bas) :
Get text ids from subcorpus... IDS (10)=[1-De Gaulle-1959, 1-De Gaulle-1960, 1-De Gaulle-1961, 1-De Gaulle-1962, 1-De Gaulle-1963, 1-De Gaulle-1964, 1-De Gaulle-1965, 1-De Gaulle-1966, 1-De Gaulle-1967, 1-De Gaulle-1968] Export corpus .../corpora/TESTCORPUS.txm... Delete previous corpus TESTCORPUS Delete properties frpos... Removing [frpos] to TESTCORPUS XML-TXM files... 10 .........1 - Done Updating TESTCORPUS Done: .../corpora/TESTCORPUS.txm Effectué en 6289 ms.Messages à reformuler :
- 'Get text ids from subcorpus...' -> 'Fetching text ids from subcorpus...'
- 'Export corpus .../corpora/TESTCORPUS.txm...' -> 'Exporting corpus TESTCORPUS.txm...'
- 'Delete previous corpus TESTCORPUS' -> 'Deleting preexistant corpus TESTCORPUS'
- 'Delete properties frpos...' -> 'Deleting properties [frpos]...'
- 'Removing [frpos] to TESTCORPUS XML-TXM files...' -> 'Removing [frpos] from TESTCORPUS XML-TXM files...'
- 'Done: .../corpora/TESTCORPUS.txm' -> 'Done: TESTCORPUS.txm'
En gros utiliser le present perfect 'be-ing' pour marquer la durée de l'action, c'est à dire quand le message se termine par '...'.
Sinon que veut dire le message : 'Re-export corpus .../corpora/TESTCORPUS.txm...' ?
Edited by Serge Heiden- Resolved by Matthieu Decorde
TXM 0.8.4 (2024-12-18 09h44) Linux, Ubuntu 22.04
Test de validation OK
Remarques :
- Il faut préciser dans le ticket que l'utilitaire/macro se trouve dans le groupe "corpus', attention à la confusion possible avec le groupe "Export".
- Ce serait bien que l'utilisateur puisse indiquer la destination de l'export.
- Il n'est pas nécessaire de charger le corpus exporté car il est crée dans TXM par la macro. Ou bien il faut demander dans la recette de supprimer le nouveau corpus et de charger le fichier exporté.
- Peut-être avoir une option dans la macro pour pouvoir choisir de conserver a) le corpus exporté dans TXM, b) le coprus exporté .txm, c) les deux.
- Last reply by Matthieu Decorde
mentioned in commit 5a43513d
closed with commit e153a253
removed status::à tester label
