Abuser de yahi -un équivalent d'awstats- pour grapher des CSV

by jul from AFPy discuss

à propos de yahi

Alors qu’awstats annonce sa dernière version, yahi (le lien inclus un lien vers la démo de la sortie) est un équivalent installable par pip d’analyse de journaux web normalement destiné à sortir des stats d’aggrégation, maintenu.

Son usage est suffisamment versatile pour s’adresser à tout type de d’agrégation de serveur parsable par regexp.

détourner yahi pour grapher des CSV

Comme ce module est assez simple il peut être facilement détourné pour grapher des CSV.

1 message - 1 participant(e)

Lire le sujet en entier

Lire la suite…

détourner yahi (grapheur de journaux web) pour faire des graphs de CSV

by Jul from Linuxfr.org

Yahi

Yahi est un analogue de awstats qui a pour particularité de générer un fichier HTML tout en un (qui nécessite javascript) pour fournir les différentes pages de statistiques (essentiellement une carte geoip, des histogrammes et séries temporelles).

Mais, comme je suis un pervers pépère, je me suis amusé à voir si il n'était pas possible de l'utiliser aussi pour analyser des fichiers CSV.

Exemple 1: DONT: utilisation de regexp pour parser un CSV

Dans le cadre de mon bot bluesky je génère un CSV de stat qui a une structure sur laquelle on peut exceptionnellement appliquer une regexp :

timestamp (float), nombre de post français (int), nombre de posts totaux (int),?…

Le code est simple ::

from archery import mdict
from yahi import notch, shoot
from json import dump
import re


context=notch(
    off="user_agent,geo_ip",
    log_format="custom",
    output_format="json",
    date_pattern="%s",
    log_pattern="""^(?P<datetime>[^,]+),
    (?P<nb_fr>[^,]+),
    (?P<nb_total>[^,]+),?.*
    $""")

date_formater= lambda dt :"%s-%s-%s" % ( dt.year, dt.month, dt.day)
res= shoot(
        context,
        lambda data: mdict({
            "date_fr" :
                mdict({ date_formater(data["_datetime"]) : 
                    int(data["nb_fr"]) }),
            "hour_fr" : 
                mdict({ "%02d" % data["_datetime"].hour : 
                    int(data["nb_fr"]) }),
            "date_all" : 
                mdict({ date_formater(data["_datetime"]) : 
                    int(data["nb_total"]) }),
            "hour_all" : 
                mdict({ "%02d" % data["_datetime"].hour : 
                    int(data["nb_total"]) }),
            "total" : 1
        })
    )
dump(res,open("data.js","w"),  indent=4)

Ce code génère le fichier data.js dans les conventions qui suivent les attendus du fichier de données yahi

date_ … correspond à un histogramme de temps
hour_ … correspond à un histogramme par heure

Il suffit de faire :

yahi_all_in_one_maker && firefox aio.html
Pour voir les résultats dont ci joint sont deux exemples :

Exemple 2: utilisation brutale avec CSV DictReader

Pour ce cas, j'ai pris le fichier CSV que m'a imprudemment envoyé france travail avec le listing des 10 000 chômeurs de mon coin ayant la structure suivante :

id opaque, civilité, prénom, nom, email du conseiller

pour bâtir les histogrammes de

• combien chaque conseiller suit de chômeur,
• quelle est la fréquence des prénoms (et ce que cela révèle)

Là encore, le code est assez simple :

from csv import DictReader
from json import dump
from archery import mdict

res=mdict()
with open("/home/jul/Téléchargements/GEMESCAPEG.csv") as f:
    for l in DictReader(f):
        res+=mdict(
            by_ref = mdict({l["Referent"]: 1}),
            by_prenom=mdict({l["Prenom"]:1}))

dump(res, open("data.js", "w"), indent=4)

Et là la magie de la convention de nommage indique que l'on veut des histogramme triés en forme de top 40

Il ne reste plus qu'à générer la page web …

yahi_all_in_one_maker && firefox aio.html
Et l'on à les graphs suivants :

(le premier est tronqué pour respecter le RGPD)

le nombre de chômeurs par conseiller

Ce qui nous apprend qu'un conseiller suit en moyenne 250 chômeurs, et que certains à plus de 500 risquent le burnout

la fréquence des prénoms

Ce qui nous apprend quand on met en regard de quand les prénoms les plus courants avaient du succès que vaut mieux pas être vieux et au chômage (tarte à la crème) si on veut retrouver du boulot.

Voir la fréquence des prénoms suivants (source INSEE)

Est-ce une bonne idée quand on est chômeur de faire du logiciel libre

J'en ai discuté avec ma conseillère qui m'a dit : pour ne pas être contrôler il est bien dans la partie mouchard projet de votre interface de france travail de rajouter des projets, le plus évitant les contrôles, et vous pouvez tout à fait rajouter vos contributions à du logiciel libre comme étant de l'auto-formation.

Commentaires : voir le flux Atom ouvrir dans le navigateur

Lire la suite…

Comment optimiser vos images de conteneurs Docker

by bearstech from Bearstech

Lire la suite…

PyConFR 2025, planning et inscriptions

by grewn0uille,Ysabeau 🧶 from Linuxfr.org

• lien nᵒ 1 : PyConFR 2025
• lien nᵒ 2 : Programme de la PyConFR 2025
• lien nᵒ 3 : Inscriptions
• lien nᵒ 4 : Code de conduite
• lien nᵒ 5 : Soutenir l’évènement
• lien nᵒ 6 : Association Francophone Python

Commentaires : voir le flux Atom ouvrir dans le navigateur

Lire la suite…

AFPy

by AFPy - Mastodon from AFPy - Mastodon

🔴 En direct à 15h30 : L'émission Libre à vous parlera de Python.

https://www.libreavous.org/

Lire la suite…

Sur Lyon − Jeudi Programmation de l’ALDIL le 25 septembre

by grewn0uille from AFPy discuss

Hello tout le monde,

L’ALDIL reprend ses ateliers d’initiations à la programmation ce jeudi, et pour cette première session, il y a du Python au programme.

Ça commence à 19h et ça se passe à la Maison pour tous / Salle des Rancy.

Plus d’informations sur leur site.

1 message - 1 participant(e)

Lire le sujet en entier

Lire la suite…

Contributions à des logiciels libres par l'équipe Yaal Coop durant l'été 2025

by Éloi Rivard <eloi@yaal.coop> from Yaal

Mécénat

• Marco 'Lubber' Wienkoop pour son travail sur Fomantic-UI, un chouette framework CSS que nous utilisons dans canaille. Fomantic-UI est aussi utilisé par d'autres outils sur lesquels nous comptons, comme Forgejo.
• Hsiaoming Yang pour son travail sur authlib, une bibliothèque python d'authentification que nous utilisons dans canaille.
• Soutien « bronze » à la convention PyConFR.

Magic-Wormhole

Obtenir des fichiers d'un ordinateur à l'autre, en toute sécurité

• Suppression de warnings sur des échappements dans des chaînes de caractères
• Remplacement de formatage de chaînes de caractères en f-strings sur le serveur boîte aux lettres et le serveur relai
• Fichiers générés par les tests ignorés par git
• Utilisation de la syntaxe disponible sur les versions de Python 3.9+, réalisée grâce à pyupgrade-directories, pour le client, le serveur boîte aux lettres et le serveur relai
• Remplacement de l'appel pkg_resources.resource_string() obsolète par importlib.resources.file() pour le serveur boîte aux lettres et le serveur relai
• Ajout d'une variable d'environnement pour corriger un test en ayant la même sortie standard

authlib

La bibliothèque Python ultime pour construire des clients et serveurs OAuth, OpenID Connect. JWS, JWE, JWK, JWA, JWT inclus.

• Restauration temporaire du paramètre body OAuth2Request
• Correction de la génération d'id_token avec l'algorithme EdDSA
• Signature des id_token OIDC selon les métadonnées client id_token_signed_response_alg
• Ajout de la vérification diff-cover dans GHA
• Migration de pre-commit vers prek
• Exécution des tests unitaires GHA avec uv
• Correction du déclenchement d'InsecureTransportError
• Ajout du hook pre-commit conventional-commits
• Correction de response_mode=form_post avec le client Starlette
• Migration des tests vers le paradigme pytest
• Utilisation d'URLs *.test explicites dans les tests unitaires
• Ajout d'un paramètre request aux méthodes RFC7591 generate_client_info et generate_client_secret

pytest-iam

Un serveur OAuth2 / OpenID Connect (OIDC) / SCIM léger et entièrement fonctionnel à utiliser dans les suites de tests.

• Correction des exceptions fake_users et fake_groups

scim2-client

Construire des requêtes SCIM et analyser les réponses SCIM de manière pythonique

• Support des opérations PATCH
• Support d'extensions multiples pour les ressources

scim2-models

Sérialisation et validation de ressources SCIM avec Pydantic

• Validation que PatchOp.path est défini pour les opérations remove
• Validation des chemins pour les attributs SearchRequest
• Validations sur PatchOp
• Validatinos sur PatchOp.patch
• Ignorance des attributs invalides et excluded_attributes lors de la sérialisation
• Les champs typés avec Any ne sont pas normalisés
• Les valeurs non canoniques sont autorisées pour les Enums
• Une seule valeur d'attribut complexe primaire ne peut être vraie
• Sous-attributs ComplexAttribute explicites

scim2-server

Prototype de serveur SCIM2 léger

• Correction d'une erreur survenant lors du PUT d'un champ d'extension vers une instance
• Correction du comportement quand patch supprime des champs null non-éditables
• Correction du patching racine d'extension

scim2-tester

Vérificateur de conformité serveur aux RFC SCIM

• Implémentation des vérifications PATCH
• Implémentation du filtrage des vérifications
• Implémentation d'un gestionnaire de ressources pour gérer les objets déchets
• Implémentation de tests supplémentaires sur les ressources de base
• Gestion des réponses vides des opérations PATCH
• Gestion correcte de la génération de valeurs dans les sous-attributs

Lire la suite…

Summer 2025 FOSS contributions from by the Yaal Coop team

by Éloi Rivard <eloi@yaal.coop> from Yaal

Sponsoring

• Marco 'Lubber' Wienkoop for his work on Fomantic-UI, a nice CSS framework we use in canaille. Fomantic-UI is used on other tools we rely on, like Forgejo.
• Hsiaoming Yang for his work on authlib, a python authentication library we use in canaille.
• Bronze tier sponsoring for the PyConFR convention.

Magic-Wormhole

Get files from one computer to another, safely

• Remove warnings about invalid escape sequence in strings
• Replace formatted strings to f-strings for the mailbox server and the relay server
• Git ignores files generated when the tests run
• Update syntax to 3.9+ Python versions, done with pyupgrade-directories, for the client, the mailbox server and the relay server
• Replace deprecated pkg_resources.resource_string() call by importlib.resources.file() for the mailbox server and the relay server
• Set environment variable to fix a test by having the same stdout output

authlib

The ultimate Python library in building OAuth, OpenID Connect clients and servers. JWS,JWE,JWK,JWA,JWT included.

• Temporarily restore OAuth2Request body parameter
• Fix id_token generation with EdDSA alg
• Sign OIDC id_token according to id_token_signed_response_alg client metadata
• Add diff-cover check in GHA
• Move from pre-commit to prek
• Run GHA unit tests with uv
• Fix InsecureTransportError raising
• Add conventional-commits pre-commit hook
• Fix response_mode=form_post with Starlette client
• Migrate tests to pytest paradigm
• Use explicit *.test urls in unit tests
• Add a request param to RFC7591 generate_client_info and generate_client_secret methods

pytest-iam

A lightweight and fully functional OAuth2 / OpenID Connect (OIDC) / SCIM server to be used in test suites.

• Fix fake_users and fake_groups exceptions

scim2-client

Pythonically build SCIM requests and parse SCIM responses

• Support for PATCH operations
• Allow testing resources with multiple extensions

scim2-models

SCIM resources serialization and validation with Pydantic

• Ensure PatchOp.path is set for remove operations
• Implement proper path validation for SearchRequest attributes
• Implement PatchOp validation checks
• Implement PatchOp.patch
• Ignore invalid attributes and excluded_attributes on serialization
• Don't normalize fields typed with Any
• Allow non canonical values for Enums
• Only allow one primary complex attribute value to be true
• Explicit ComplexAttribute sub-attributes

scim2-server

Lightweight SCIM2 server prototype

• Fix an error happening when PUT-ing an extension field to an instance
• Fix behavior when patch removes null uneditable fields
• Fix extension root patching

scim2-tester

SCIM RFCs server compliance checker

• Implement PATCH checks
• Implement check filtering
• Implement a resource manager to take care of garbages objects
• Implement additional tests on the core resources
• Handle empty response of PATCH operations
• Correctly handle value generation in sub-attributes

Lire la suite…

Renouvellement du Comité Directeur

by grewn0uille from AFPy discuss

Bonjour tout le monde,

La PyConFR approche, et donc la traditionnelle assemblée générale de l’AFPy avec le renouvellement du Comité Directeur !

Le Comité Directeur est composé de 9 personnes, actuellement : @debnet, @entwanne, @ReiNula, @pierre.bousquie, @Mindiell, @tut-tuuut, @Chadys, @CaptainKro et moi-même. Lors de chaque assemblée générale, un tiers du comité est renouvelé.

Le Comité Directeur est l’organe qui administre l’association au quotidien et organise la PyConFR.

Si vous avez envie de participer à animer la communauté Python et à organiser l’édition 2026 de la PyConFR, pourquoi pas rejoindre le Comité Directeur ?

Comment ça se passe à l’assemblée générale ?

Pour vous présenter, vous devez être membre de l’association (n’oubliez pas votre adhésion).
Les personnes intéressées pour rejoindre le comité se présentent, puis un vote a lieu.

Les personnes élues rejoignent alors le comité, qui propose alors un·e Président·e. Cette proposition est aussi soumise au vote de l’assemblée (n’oubliez pas votre adhésion).

Les différents autres postes du bureau sont attribués lors de la réunion du comité après l’assemblée.

Comment ça se passe au Comité Directeur ?

Le comité se réunit une fois par mois en visio pour traiter les différents sujets.

Certains postes ont des tâches spécifiques :

• Le·la président·e dirige l’association au niveau global et suit l’ensemble des sujets.
• Le·la trésorier·e gère l’argent de l’association, répond aux demandes de bourses concernant la PyConFR et édite les factures.
• Le·la secrétaire s’occupe de la prise de notes lors des réunions, de la publication des compte-rendus / dépôt des documents auprès de la préfecture et de l’envoi des lettres d’invitation pour les demandes de visa pour la PyConFR.

Chacun de ses postes est complété par un·e adjoint·e qui le supplée en cas d’absence.

Ça m’intéresse grave de rejoindre

Si vous êtes intéressé·es pour rejoindre le comité, vous pouvez participer à une des prochaines réunions pour voir comment ça se passe. Elles sont le 9 et 21 octobre.

Si vous voulez savoir ce qui se raconte en réunion, tous les documents de gestion de l’association sont disponibles sur le dépôt Gitea AFPy/gestion: Documents administratifs de l’AFPy. - La forge de l’AFPy.

Si vous avez des questions sur le Comité Directeur, son fonctionnement etc, n’hésitez pas à les poser !

1 message - 1 participant(e)

Lire le sujet en entier

Lire la suite…

Réunion du comité directeur 09/10/2025 20h30 spéciale PyConFR

by entwanne from AFPy discuss

3 messages - 1 participant(e)

Lire le sujet en entier

Lire la suite…