MakeMake The Dwarf Planet is a feed agregator.

Selenium >> Anubis et cie

by jtremesay from Linuxfr.org

Vous faites chier avec vos trucs genre Anubis qui cassent mes petits scrapers python :(

Là, je voulais gentiment scraper les missions sur le Fandom de Cyberpunk 2077 pour pouvoir faire mon arbre de mission.

Et pouf, on se fait rembarrer parce qu'on utilise pas un vrai navigateur :

$ curl -v https://cyberpunk.fandom.com/wiki/Cyberpunk_2077_Main_Jobs
> Host: cyberpunk.fandom.com
> User-Agent: curl/8.18.0
> Accept: */*
> 
< HTTP/2 403

Dans ces cas là, pas le choix, Selenium WebDriver.

WebDriver est lib multilangage pour contrôler un navigateur web tel que firefox ou chrome.

Minimal Viable Product®

#!/usr/bin/env python3
from pathlib import Path

from selenium import webdriver
from selenium.webdriver.common.by import By


def main():
    output_dir = Path("html")
    output_dir.mkdir(exist_ok=True)

    driver = webdriver.Firefox()
    driver.get("https://cyberpunk.fandom.com/wiki/Cyberpunk_2077_Main_Jobs")

    links = [
        (link.get_attribute("title"), link.get_attribute("href"))
        for link in driver.find_elements(By.CSS_SELECTOR, ".navbox li a")
    ]
    for link_title, link_href in links:
        page_file = output_dir / f"{link_title}.html"
        if page_file.exists():
            print(f"{link_title} already exists, skipping")
            continue
        print(f"Saving {link_title} from {link_href}")

        driver.get(link_href)
        content_node = driver.find_element(By.CSS_SELECTOR, ".mw-parser-output")
        page_file.write_text(content_node.get_attribute("outerHTML"))

    driver.quit()


if __name__ == "__main__":
    main()

j'trouve ça moins élégant que Hishel. Mais bon.

Modern Problems Require Modern Solutions

Télécharger ce contenu au format EPUB

Commentaires : voir le flux Atom ouvrir dans le navigateur

Lire la suite…

Sur Grenoble - Meetup le 24 février 2026

by Pierre-Loic from AFPy discuss

Bonjour à tous,

On organise à Grenoble mardi 24 février 2026 un Meetup Python pour faire un partage d’expérience sur l’utilisation de l’intelligence artificielle générative pour le code Python.

Partage d'expérience sur l'IA générative pour le code Python
February 24, 2026 7:00 PM (Europe/Paris) → February 24, 2026 9:00 PM (Europe/Paris)
La Turbine.coop

1 message - 1 participant(e)

Lire le sujet en entier

Lire la suite…

Que faut-il savoir pour créer un meetup python chez soi ?

by Melcore from AFPy discuss

Bonjour, j’aimerais créer un document qui prends les divers retour d’expériences des créateur•trices de Meetup python locaux afin d’aider à lancer le pas de nouveaux meetup.

  • L’aide fournit par l’AFPy ?
    • Communication ?
    • Matériel ?
    • Compte meetup ? Mobilizon ?
  • Guide pour créer un meetup étape par étape:
    • Comment trouver un lieu d’accueil ?
    • Comment trouver des personnes prêtes à faire des conférences ?
    • Comment organiser la communication de l’évènement ?
    • Comment partager les médias de l’évènement ?
    • Respecter la charte AFPy
    • (d’autres questions auxquels je ne pense pas)

Ce qu’on peut mettre en place en tant qu’AFPy ?

  • Aide aux visuels (fournir des templates)

Si les créatrices ou créateurs de meetup locaux veulent compléter ma liste absolument non-exhaustive, ça serait avec plaisir.

5 messages - 3 participant(e)s

Lire le sujet en entier

Lire la suite…

Sur Lyon − Meetup le 19 février

by grewn0uille from AFPy discuss

Hello tout le monde,

Le prochain meetup a lieu le jeudi 19 février à 19h, dans les locaux de Zenika (métro Brotteaux).

@TitiMoby présentera plein de chemins d’apprentissage du code, des outils, des plateformes… :snake:

Apprendre à coder ou comment s’amuser de 7 à 77 ans
February 19, 2026 7:00 PM (Europe/Paris) → February 19, 2026 9:00 PM (Europe/Paris)
https://www.meetup.com/fr-fr/python-afpy-lyon/events/313021862/

1 message - 1 participant(e)

Lire le sujet en entier

Lire la suite…

Sortie de Offpunk 3.0

by ploum from Linuxfr.org

Salut Nal,

Après des semaines intensives de travail, j’ai le plaisir de t’annoncer la sortie d’Offpunk 3.0.

https://ploum.net/2026-02-09-offpunk3.html

Offpunk est un navigateur web/gemini/gopher/spartan en ligne de commande et déconnecté (oui, tout est en cache qu’on peut synchroniser régulièrement)

Pour avoir des réponses à toutes tes questions:

https://offpunk.net/
gemini://offpunk.net/

ou bien l’installer et taper "tutorial"

Dans les grosses nouveautés de la 3.0, il faut noter:

  1. Support des traductions. Offpunk est traduit en Espagnol, en Galego et en Néerlandais mais pas encore en français ! Si vous voulez aider, c’est ici:

https://offpunk.net/translation.html

  1. Support de "unmerdify", par @vjousse. Unmerdify est une libraire qui va parser les pages HTML en utilisant les règles FiveFilters afin d’en extraire le contenu intéressant et jeter tout les reste.

Unmerdify: https://codeberg.org/vjousse/unmerdify

Contribuer aux filtres: https://help.fivefilters.org/full-text-rss/site-patterns.html#github-repository

  1. xkcdpunk, un utilitaire en ligne de commande pour afficher directement un comic XKCD dans son terminal.

Et plein d’autres choses

Je te laisse découvrir toutes les autres nouveautés, n’hésite pas à me poser des questions !

Télécharger ce contenu au format EPUB

Commentaires : voir le flux Atom ouvrir dans le navigateur

Lire la suite…