Évolution de l'autopilot et de la conduite autonome (MàJ 10/2020 avec FSD Beta)

[Remy]

Le 29/08/2022 à 12:28, Sby59th a dit :

J’imagine que c’est la qu’intervient le programme de réseau neuronal apporté par la mise à jour.

J'espère bien que non.

Le réseau neuronal peut servir pour la partie "reconnaissance des objets dans les différentes images", mais certainement pas pour la partie calcul de distance en fonction des caractéristiques géométriques des caméras.

Remplacer une formule trigonométrique (simple) par un réseau neuronal, ce serait à la fois un gaspillage  énorme et une complexité inutile.

 

 

[Mamiot]

Le 29/08/2022 à 15:01, Remy a dit :

J'espère bien que non.

Le réseau neuronal peut servir pour la partie "reconnaissance des objets dans les différentes images", mais certainement pas pour la partie calcul de distance en fonction des caractéristiques géométriques des caméras.

Remplacer une formule trigonométrique (simple) par un réseau neuronal, ce serait à la fois un gaspillage  énorme et une complexité inutile.

 

 

Tu me rappelles la gestion de la détection de la pluie ?

 

gaspillage énorme et complexité inutile.

 😅

[Fab-]

Le 29/08/2022 à 12:52, pao a dit :

Il me semble que les 3 caméras avant ont toutes des focales (angles) différentes.
Donc pas de vision stéréoscopique.

Pas un soucis.

Les caméras latérales ont une très courte focale avec un rendu "fish-eye". Ils font passer un coup de pré-traitement pour redresser les angles avant d'utiliser les images pour reconstruire l'environnement en 3D avec l'ensemble des caméras.

Ils peuvent tout à fait en faire autant avec les frontales et réajuster l'échelle pour faire de la stéréovision.

[Fab-]

Le 29/08/2022 à 15:01, Remy a dit :

J'espère bien que non.

Le réseau neuronal peut servir pour la partie "reconnaissance des objets dans les différentes images", mais certainement pas pour la partie calcul de distance en fonction des caractéristiques géométriques des caméras.

Remplacer une formule trigonométrique (simple) par un réseau neuronal, ce serait à la fois un gaspillage  énorme et une complexité inutile.

 

 

Oui, c'est pas mal de préciser. L'IA et les réseaux de neurones c'est toujours assez opaque.

Un réseau de neurones, très grossièrement, c'est une machine à stats qui ne fait rien d'autre.

Un système complet regroupe différentes techniques de programmation.

Pour prendre un exemple simple, imaginons une machine qui trie les M&M's par couleur. Le réseau de neurones n'est là que pour analyser les images d'une caméra et donner des probabilités que le M&M's soit d'une couleur (on définit un seuil de fiabilité alors).

Ensuite il suffit de faire un programme qui demande à chaque M&M's qui arrive devant la caméra la probabilité qu'il soit rouge. Si on dépasse le seuil, on switch le tapis vers le réservoir rouge. Si probabilité qu'il soit bleu, on switch vers bleu, etc.

l'IA, finalement, ne fait que donner des probabilités de couleur.

Pour le FSD, c'est pareil, l'IA ne conduit pas (si on considère l'IA comme le (ou les) réseau de neurones et non comme l'ensemble). Elle va servir, par exemple, à faire de la reconnaissance de formes et d'objets dans toutes les images des caméras, ce qui va permettre de reconstruire un environnement 3D autour de la voiture (d'où le nom de "Tesla Vision" et la stratégie différente là où d'autres marques vont utiliser un lidar pour faire la reconstruction de l'environnement, par exemple). On peut imaginer ensuite (pure spéculation) qu'ils vont utiliser des algorithmes de "path finding" pour déterminer le chemin à emprunter dans cet environnement. Le path finding repose bien souvent sur de l'algorithmique plus classique.

En pratique, il y a plusieurs niveau de réseaux et chacun a des tâches bien spécifiques. C'est, bien évidemment beaucoup plus complexe que ça, mais ça permet d'illustrer assez simplement comment ça fonctionne et comment tout peut fonctionner ensemble.

 

 

 

[MikeFr]

Sinon vous pouvez regarder la dernière vidéo du directeur de l'Autopilot Tesla qui explique ça bien mieux que vous

 

Pour le nouveau FSD c'est du calcul toutes les 10ms d'un réseau d'occupation des objets, calculé en 3D.

 

Pour l'ancien (le nôtre), c'est moins bon (mais il va disparaître).

 

 

[jackseg]

Oui, ils expliquent très bien le fonctionnement. Dans le dernier AI Day, c'était encore mieux expliqué avec les différents vecteurs utilisés. Ce n'est pas triviale mais c'est peanuts par rapport aux autres problèmes qu'ils ont à traiter.
Un résumé dans cette vidéo:

Par contre, et ce n'est que mon opinion, je ne crois pas qu'ils peuvent atteindre le niveau de chaque capteur spécifique avec seulement la vision des caméras. Comment avoir la fiabilité et la précision d'un lidar en conditions difficile, comme dans du brouillard, de la neige ou une tempête de sable, là ou le lidar n'a pas de soucis ? Idem pour le capteur de pluie.
J'éspère qu'ils me donneront tort mais j'ai bien l'impression que ce passage à la vision seule n'est qu'une histoire de coûts et de pièces disponibles.

Modifié août 29, 2022 par jackseg
oubli d'un commentaire

[Claudius]

Le 29/08/2022 à 18:57, jackseg a dit :

Oui, ils expliquent très bien le fonctionnement. Dans le dernier AI Day, c'était encore mieux expliqué avec les différents vecteurs utilisés. Ce n'est pas triviale mais c'est peanuts par rapport aux autres problèmes qu'ils ont à traiter.
Un résumé dans cette vidéo:

Par contre, et ce n'est que mon opinion, je ne crois pas qu'ils peuvent atteindre le niveau de chaque capteur spécifique avec seulement la vision des caméras. Comment avoir la fiabilité et la précision d'un lidar en conditions difficile, comme dans du brouillard, de la neige ou une tempête de sable, là ou le lidar n'a pas de soucis ? Idem pour le capteur de pluie.
J'éspère qu'ils me donneront tort mais j'ai bien l'impression que ce passage à la vision seule n'est qu'une histoire de coûts et de pièces disponibles.

Ça serait déjà un pas en avant si on pouvait déjà l'utiliser quand il n'y a pas de brouillard ou fortes pluies, non ?

Prenons ce qui est à portée avant de parler de ce qui ne va pas.

[Samsaggace]

Il semblerait qu’enfin les nouvelles versions du FSD tiennent compte maintenant de la vitesse des objets, ce qui devrait accroître notablement la précision de la prédiction tout en simplifiant les calculs.

https://etfdb.com/disruptive-technology-channel/tesla-updates-to-full-self-driving-beta-program/
Il paraissait évident que, sans information "vitesse" (que nous avons naturellement dans notre vision d’une situation) il est quasiment impossible de simplifier l’extrapolation. Cela entraîne, entre autres, les freinages ou ralentissements dès qu’un véhicule "mord" sur une bande adjacente à notre voie de circulation.

[MrFurieux]

Le 29/08/2022 à 19:21, Samsaggace a dit :

Il semblerait qu’enfin les nouvelles versions du FSD tiennent compte maintenant de la vitesse des objets, ce qui devrait accroître notablement la précision de la prédiction tout en simplifiant les calculs.

https://etfdb.com/disruptive-technology-channel/tesla-updates-to-full-self-driving-beta-program/
Il paraissait évident que, sans information "vitesse" (que nous avons naturellement dans notre vision d’une situation) il est quasiment impossible de simplifier l’extrapolation. Cela entraîne, entre autres, les freinages ou ralentissements dès qu’un véhicule "mord" sur une bande adjacente à notre voie de circulation.

C'est pas ça la nouveauté, le FSD tenait déjà compte de la vitesse des objets (heureusement !). La nouveauté c'est ce qu'ils appellent l'"occupancy network". L'article cite un analyste qui lui-même commente la présentation de Ashok Elluswamy que je citais dans ce post de la semaine dernière, juste au dessus.

[StepB13]

Le 29/08/2022 à 18:57, jackseg a dit :

Comment avoir la fiabilité et la précision d'un lidar en conditions difficile, comme dans du brouillard, de la neige ou une tempête de sable, là ou le lidar n'a pas de soucis ?

Le lidar ou tout radar ne peut voir que les obstacles. C'est insuffisant pour palier la perte de visibilité des caméras. Les radars ne peuvent pas voir les lignes, une partie des limites de la route, lire les panneaux et j'en passe. Si les caméras ne voient plus tout cela, du fait des conditions, un radar n'aidera pas et ne permettra pas mieux la conduite autonome. Pour le freinage d'urgence, oui, par exemple, pas pour la conduite autonome.

[jackseg]

Le 29/08/2022 à 19:43, StepB13 a dit :

Le lidar ou tout radar ne peut voir que les obstacles. C'est insuffisant pour palier la perte de visibilité des caméras. Les radars ne peuvent pas voir les lignes, une partie des limites de la route, lire les panneaux et j'en passe. Si les caméras ne voient plus tout cela, du fait des conditions, un radar n'aidera pas et ne permettra pas mieux la conduite autonome. Pour le freinage d'urgence, oui, par exemple, pas pour la conduite autonome.

Ce n'est pas exactement ce que je dis. Je pense qu'il faut que tous les composants soient utilisés à leur capacités max. pour avoir une conduite autonome viable.
La vision c'est bien mais c'est aussi très limité par rapport à des capteurs spécialisés, fiable et qui existent depuis longtemps.
Il y a pleins de conditions ou la vision est trop limité pour faire les choses parfaitement. Ce doit-être un mix d'un tout. Encore l'autre jour, il me désactive l'autopilot car il y avait apparemment trop de soleil en face.
Je sais que des ingénieurs sont partis à cause de cette "vision" de Musk... mais comme déjà dit, je ne demande qu'à n'être contredit par la pratique. Je veux, dans le futur, voir le FSD fonctionner dans des conditions difficiles et partout dans le monde pour être convaincu par sa solution... et pas à 98%...
Pour l'instant, on ne m'enlevera pas de la tête que c'est une histoire d'approvisionnement de pièces, de couts et de simplifications techniques.

Modifié août 29, 2022 par jackseg

[nonmaisfranchement]

De toute façon c'est simple, avec le radar la distance minimale avec la voiture devant soit c'est le premier niveau de réglage, avec la caméra c'est le deuxième.

Idem la vitesse maxi pour l'autopilot est plus faible avec la caméra qu'avec le radar.

 

CQFD on perd en prestation.

[jackseg]

Le 29/08/2022 à 21:32, nonmaisfranchement a dit :

De toute façon c'est simple, avec le radar la distance minimale avec la voiture devant soit c'est le premier niveau de réglage, avec la caméra c'est le deuxième.

Idem la vitesse maxi pour l'autopilot est plus faible avec la caméra qu'avec le radar.

 

CQFD on perd en prestation.

Ce n'est que pour le début des tests sur le public. Ils vont revenir assez rapidement aux mêmes prestations qu'actuellement.
Le problème n'est pas là... le FSD fait déjà des miracles pour moi. Je parle de conditions difficiles et particulières. Un robot taxi ne pourra pas rester bloqué car il y a de la neige qui tombe sur une route ou l'on ne voit plus les lignes et les bords par ex. alors que ce n'est pas une situation extrême et même plutôt normale dans les pays nordiques.

Modifié août 29, 2022 par jackseg

[nonmaisfranchement]

Le 29/08/2022 à 21:43, jackseg a dit :

Ce n'est que pour le début des tests sur le public. Ils vont revenir assez rapidement aux mêmes prestations qu'actuellement.
Le problème n'est pas là... le FSD fait déjà des miracles pour moi. Je parle de conditions difficiles et particulières. Un robot taxi ne pourra pas rester bloqué car il y a de la neige qui tombe sur une route ou l'on ne voit plus les lignes et les bords par ex. alors que ce n'est pas une situation extrême et même plutôt normale dans les pays nordiques.

Des tests ??? Sur routes ouvertes ? Tests faits avec des conducteurs lambda ?

 

Non mais sérieux, 

[jackseg]

Le 29/08/2022 à 22:10, nonmaisfranchement a dit :

Des tests ??? Sur routes ouvertes ? Tests faits avec des conducteurs lambda ?

 

Non mais sérieux, 

Ca me parait logique. Les tests ont déjà été fait et quand on lance une nouvelle fonctionnalité au grand publique, on s'assure que tout est ok avec des groupes de tests réels (on limite la diffusion à xx voitures par ex.) et ensuite on passe au stade final si tout est ok. Ca ne veut pas dire que c'est dangereux, c'est juste une méthode de plus pour s'assurer que des problèmes non identifiés ne seraient pas passés entre les gouttes. Le 100% n'existe pas, sinon on ne sortirait jamais rien.

[Invité]

De toutes façons, d'ici 1 mois ou 2 avec la condensation qui va commencer à apparaitre dans les logements des cameras et notamment dans les montants de portes, je pense qu'il y a des soucis à se faire concernant la gestion de la distance de sécurité et du freinage d'urgence sans radar

[MikeFr]

Le 29/08/2022 à 21:43, jackseg a dit :

Ce n'est que pour le début des tests sur le public. Ils vont revenir assez rapidement aux mêmes prestations qu'actuellement.
Le problème n'est pas là... le FSD fait déjà des miracles pour moi. Je parle de conditions difficiles et particulières. Un robot taxi ne pourra pas rester bloqué car il y a de la neige qui tombe sur une route ou l'on ne voit plus les lignes et les bords par ex. alors que ce n'est pas une situation extrême et même plutôt normale dans les pays nordiques.

Il y a des vidéos de Bjorn où l'AP classique s'en sort déjà bien sur des routes enneigées.

Le FSD devrait y arriver encore mieux a priori.

[jackseg]

Le 30/08/2022 à 09:26, MikeFr a dit :

Il y a des vidéos de Bjorn où l'AP classique s'en sort déjà bien sur des routes enneigées.

Le FSD devrait y arriver encore mieux a priori.

Je n'en doute pas. Mais je parle de conditions difficiles, c'est vrai que mon exemple n'était peut-être pas très bon.
Prenons le même cas, avec un fort soleil de face par ex. et ajoute 2-3 problématiques par dessus.
Au lieu d'utiliser tout le spectre que propose la cohabitation entre la vision et un Lidar, ils se bornent à ne vouloir utiliser que la vision... et j'ai beaucoup de mal avec ça.

Un article interessant sur le sujet:
https://www.idtechex.com/en/research-article/tesla-dropping-radar-was-a-mistake-here-is-why/25619

[Bart]

Ne pas confondre Lidar et Radar, ce ne sont pas du tout les mêmes technologies, ni le même but.

[MikeFr]

Le 30/08/2022 à 09:59, jackseg a dit :

Je n'en doute pas. Mais je parle de conditions difficiles, c'est vrai que mon exemple n'était peut-être pas très bon.
Prenons le même cas, avec un fort soleil de face par ex. et ajoute 2-3 problématiques par dessus.
Au lieu d'utiliser tout le spectre que propose la cohabitation entre la vision et un Lidar, ils se bornent à ne vouloir utiliser que la vision... et j'ai beaucoup de mal avec ça.

Un article interessant sur le sujet:
https://www.idtechex.com/en/research-article/tesla-dropping-radar-was-a-mistake-here-is-why/25619

L'idée de Musk est simple:

tu conduis ta voiture dans toutes les conditions avec 2 yeux et 1 cerveau.

Il doit donc être possible de faire la même chose avec des caméras et un GPU.

 

En conditions extrêmes tu t'arrêtes aussi au bord de la route non ?

Ben là ça sera sûrement pareil.

[StepB13]

Le 30/08/2022 à 10:57, MikeFr a dit :

L'idée de Musk est simple:

tu conduis ta voiture dans toutes les conditions avec 2 yeux et 1 cerveau.

Il doit donc être possible de faire la même chose avec des caméras et un GPU.

 

En conditions extrêmes tu t'arrêtes aussi au bord de la route non ?

Ben là ça sera sûrement pareil.

Je dirais même plus, avec nos 2 yeux et notre cerveau, on conduit même quand les conditions ne sont plus raisonnables. Chose que la voiture ne fera pas

[jackseg]

Le 30/08/2022 à 10:57, MikeFr a dit :

L'idée de Musk est simple:

tu conduis ta voiture dans toutes les conditions avec 2 yeux et 1 cerveau.

Il doit donc être possible de faire la même chose avec des caméras et un GPU.

 

En conditions extrêmes tu t'arrêtes aussi au bord de la route non ?

Ben là ça sera sûrement pareil.

Le but n'est pas d'imiter l'humain, qui est totalement imparfait (3500 morts chaque jour et + de 135'000 blessés/jour dans le monde) mais bien d'avoir une technologie supérieur à l'humain en profitant des caractéristiques de chaque technologie pour justement atténuer les défauts des humains.
Nos voitures actuelles ont déjà pleins d'artifices pour pallier à nos erreurs (ABS, ESP, aide à la conduite de niveau 1 et 2, ...).
Cette réflexion ne me semble pas bonne pour une vision à long terme de la conduite autonome.

[Bart]

Je pense qu'il faut y aller pas à pas et ne pas imaginer que ça puisse être parfait dans 100% des cas.

Ce qui est important, c'est que le système comprenne qu'il ne peut pas et rende la main dans les cas tordus.

Si ça marche déjà pour 90% du trajet, c'est quand même pas mal.

Les améliorations sur les cas limite arriveront au fil de l'eau.

[JacquesE]

Le 30/08/2022 à 10:57, MikeFr a dit :

L'idée de Musk est simple:

tu conduis ta voiture dans toutes les conditions avec 2 yeux et 1 cerveau.

Il doit donc être possible de faire la même chose avec des caméras et un GPU.

 

En conditions extrêmes tu t'arrêtes aussi au bord de la route non ?

Ben là ça sera sûrement pareil.

Comment peut-on imaginer (et désirer) être passager à ce point ?

MikeFr a bien raison. Non bien sûr aucun système ne remplacera les yeux, le cerveau, la sensation dans les fesses qui permet l'anticipation, et tant de choses qui font le plaisir (sentiment, donc inconnu d'une prétendue IA ) de conduire, de s'émouvoir. Pour les autres il y a le train.

Modifié août 30, 2022 par JacquesE

[GonheRiba]

Je viens de regarder les 2 vidéos mentionnées par jackseg. C’est vraiment passionnant et très bien expliqué. J’avoue que je suis presque convaincu.