fix: fiabiliser les réseaux et la carte Threat Intel #6

Open
nico wants to merge 5 commits from nico/threat-intel-geo-networks-map into main AGit
Owner

La page Threat Intel pouvait perdre les coordonnées d’IP résolues par l’explorateur et envoyer 300 IP à un fournisseur limité à 100 par batch. Les réseaux étaient également regroupés différemment dans l’explorateur et les insights.

Cette PR centralise la résolution GeoIP, unifie les réseaux par ASN et synchronise les filtres avec la carte. Une IP partiellement résolue reste visible dans les indicateurs de couverture et peut être complétée après expiration du cache.

Changements

  • Lots serveur et navigateur de 100 IP maximum, déduplication des recherches en cours, cache complet avec expiration configurable et conservation des champs valides après erreur.
  • Fallback pour compléter les réseaux et coordonnées manquants, budget serveur de 18 secondes, timeout navigateur de 25 secondes, réservations fournisseur partagées et respect des cooldowns HTTP 429/X-Rl/X-Ttl.
  • Identité ASN commune à l’explorateur et aux insights ; nom normalisé explicitement signalé si l’ASN manque ; groupe distinct pour les IP non résolues.
  • Carte avec coordonnées validées, regroupements au zoom et liste accessible des IP, filtres pays/réseau, centrage sur sélection et recalcul des dimensions à l’ouverture.
  • Couverture carte/réseaux distincte, états de recherche, résultats partiels, erreurs et données anciennes ; attributions OpenStreetMap/CARTO visibles.
  • Cahier des charges, configuration et validation documentés dans docs/threat-intel.md ; nouveaux tests intégrés aux checks de CI.

Validation

  • scripts/check.sh dans PHP 8.3 avec SQLite : 90 tests PHP, aucun échec ; deux tests de permissions ignorés sous root, vérifiés dans le runtime local non-root.
  • Tests JavaScript de résolution partagée et d’insights : déduplication des 300 IP, coordonnées nulles/hors bornes, identité ASN, cache partiel et conservation après erreur.
  • Quatre tests contre un fournisseur HTTP local : lots 100/100/100, cache, fallback, limitation persistée entre processus PHP et délai global.
  • Chromium avec fixtures interceptées : filtres, groupes, sélection IP, onglet masqué, couverture, erreurs, protection HTML, attributions et rendu desktop/mobile.

Les scores et règles de campagnes restent inchangés. Les tests navigateur bloquent les services externes : ils valident l’application et non la disponibilité des tuiles ni l’exactitude géographique des fournisseurs.

La page Threat Intel pouvait perdre les coordonnées d’IP résolues par l’explorateur et envoyer 300 IP à un fournisseur limité à 100 par batch. Les réseaux étaient également regroupés différemment dans l’explorateur et les insights. Cette PR centralise la résolution GeoIP, unifie les réseaux par ASN et synchronise les filtres avec la carte. Une IP partiellement résolue reste visible dans les indicateurs de couverture et peut être complétée après expiration du cache. ### Changements - Lots serveur et navigateur de 100 IP maximum, déduplication des recherches en cours, cache complet avec expiration configurable et conservation des champs valides après erreur. - Fallback pour compléter les réseaux et coordonnées manquants, budget serveur de 18 secondes, timeout navigateur de 25 secondes, réservations fournisseur partagées et respect des cooldowns HTTP 429/X-Rl/X-Ttl. - Identité ASN commune à l’explorateur et aux insights ; nom normalisé explicitement signalé si l’ASN manque ; groupe distinct pour les IP non résolues. - Carte avec coordonnées validées, regroupements au zoom et liste accessible des IP, filtres pays/réseau, centrage sur sélection et recalcul des dimensions à l’ouverture. - Couverture carte/réseaux distincte, états de recherche, résultats partiels, erreurs et données anciennes ; attributions OpenStreetMap/CARTO visibles. - Cahier des charges, configuration et validation documentés dans `docs/threat-intel.md` ; nouveaux tests intégrés aux checks de CI. ### Validation - `scripts/check.sh` dans PHP 8.3 avec SQLite : 90 tests PHP, aucun échec ; deux tests de permissions ignorés sous root, vérifiés dans le runtime local non-root. - Tests JavaScript de résolution partagée et d’insights : déduplication des 300 IP, coordonnées nulles/hors bornes, identité ASN, cache partiel et conservation après erreur. - Quatre tests contre un fournisseur HTTP local : lots 100/100/100, cache, fallback, limitation persistée entre processus PHP et délai global. - Chromium avec fixtures interceptées : filtres, groupes, sélection IP, onglet masqué, couverture, erreurs, protection HTML, attributions et rendu desktop/mobile. Les scores et règles de campagnes restent inchangés. Les tests navigateur bloquent les services externes : ils valident l’application et non la disponibilité des tuiles ni l’exactitude géographique des fournisseurs.
fix: fiabiliser les réseaux et la carte Threat Intel
All checks were successful
CI / Syntax and unit tests (push) Successful in 4m28s
CI / Syntax and unit tests (pull_request) Successful in 4m34s
1407c6b129
La page Threat Intel pouvait perdre les coordonnées d’IP résolues par l’explorateur et envoyer 300 IP à un fournisseur limité à 100 par batch. Les réseaux étaient également regroupés différemment dans l’explorateur et les insights.

Cette PR centralise la résolution GeoIP, unifie les réseaux par ASN et synchronise les filtres avec la carte. Une IP partiellement résolue reste visible dans les indicateurs de couverture et peut être complétée après expiration du cache.

### Changements

- Lots serveur et navigateur de 100 IP maximum, déduplication des recherches en cours, cache complet avec expiration configurable et conservation des champs valides après erreur.
- Fallback pour compléter les réseaux et coordonnées manquants, budget serveur de 18 secondes, timeout navigateur de 25 secondes, réservations fournisseur partagées et respect des cooldowns HTTP 429/X-Rl/X-Ttl.
- Identité ASN commune à l’explorateur et aux insights ; nom normalisé explicitement signalé si l’ASN manque ; groupe distinct pour les IP non résolues.
- Carte avec coordonnées validées, regroupements au zoom et liste accessible des IP, filtres pays/réseau, centrage sur sélection et recalcul des dimensions à l’ouverture.
- Couverture carte/réseaux distincte, états de recherche, résultats partiels, erreurs et données anciennes ; attributions OpenStreetMap/CARTO visibles.
- Cahier des charges, configuration et validation documentés dans `docs/threat-intel.md` ; nouveaux tests intégrés aux checks de CI.

### Validation

- `scripts/check.sh` dans PHP 8.3 avec SQLite : 90 tests PHP, aucun échec ; deux tests de permissions ignorés sous root, vérifiés dans le runtime local non-root.
- Tests JavaScript de résolution partagée et d’insights : déduplication des 300 IP, coordonnées nulles/hors bornes, identité ASN, cache partiel et conservation après erreur.
- Quatre tests contre un fournisseur HTTP local : lots 100/100/100, cache, fallback, limitation persistée entre processus PHP et délai global.
- Chromium avec fixtures interceptées : filtres, groupes, sélection IP, onglet masqué, couverture, erreurs, protection HTML, attributions et rendu desktop/mobile.

Les scores et règles de campagnes restent inchangés. Les tests navigateur bloquent les services externes : ils valident l’application et non la disponibilité des tuiles ni l’exactitude géographique des fournisseurs.
fix: configurer la clé CARTO Basemaps depuis le .env
All checks were successful
CI / Syntax and unit tests (push) Successful in 6m20s
CI / Syntax and unit tests (pull_request) Successful in 6m4s
d1a901735f
fix: relancer la résolution GeoIP après une erreur
Some checks failed
CI / Syntax and unit tests (push) Successful in 6m43s
CI / Syntax and unit tests (pull_request) Has been cancelled
0a17218b72
Refresh réessaie les recherches échouées ou partielles dans les caches navigateur et serveur sans contourner les limites fournisseur. Les erreurs sont visibles sur la carte et les coordonnées déjà disponibles sont conservées. Le endpoint GeoIP libère la session avant les appels réseau ; les scripts partagés reçoivent une version dérivée du contenu pour éviter les anciennes versions en cache.
fix: signaler les erreurs de connexion dans les cartes Threat Intel
Some checks failed
CI / Syntax and unit tests (pull_request) Has been cancelled
CI / Syntax and unit tests (push) Has been cancelled
886f49b518
Les API renvoient JSON 401 lorsque le cookie de connexion manque ou est rejeté au lieu de rediriger fetch vers le site externe de connexion. Top Countries et Observed Networks affichent une erreur explicite et une action de nouvelle tentative après une panne complète. Les IP non localisées ne comptent pas comme pays ; les filtres devenus vides sont retirés. Les quatre scripts GeoIP partagent une version calculée depuis leur contenu.
fix: envoyer les lots GeoIP en POST sans query string
All checks were successful
CI / Syntax and unit tests (push) Successful in 6m30s
CI / Syntax and unit tests (pull_request) Successful in 4m17s
7c361d0641
Le chemin /geo.php? correspond à une règle générique EasyPrivacy qui peut bloquer les requêtes avant PHP. Le navigateur envoie désormais les IP et le flag de retry dans un formulaire POST à geo.php. Authentification, limites et ancienne interface GET sont conservées. Le test navigateur bloque explicitement la règle /geo.php? et vérifie que les cartes restent résolues.
All checks were successful
CI / Syntax and unit tests (push) Successful in 6m30s
CI / Syntax and unit tests (pull_request) Successful in 4m17s
This pull request can be merged automatically.
You are not authorized to merge this pull request.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u origin +refs/pull/6/head:nico/threat-intel-geo-networks-map
git switch nico/threat-intel-geo-networks-map

Merge

Merge the changes and update on Forgejo.

Warning: The "Autodetect manual merge" setting is not enabled for this repository, you will have to mark this pull request as manually merged afterwards.

git switch main
git merge --no-ff nico/threat-intel-geo-networks-map
git switch nico/threat-intel-geo-networks-map
git rebase main
git switch main
git merge --ff-only nico/threat-intel-geo-networks-map
git switch nico/threat-intel-geo-networks-map
git rebase main
git switch main
git merge --no-ff nico/threat-intel-geo-networks-map
git switch main
git merge --squash nico/threat-intel-geo-networks-map
git switch main
git merge --ff-only nico/threat-intel-geo-networks-map
git switch main
git merge nico/threat-intel-geo-networks-map
git push origin main
Sign in to join this conversation.
No reviewers
No labels
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
nico/dashboard!6
No description provided.