Fondamentaux du big data

Page 2 sur 2 Précédent  1, 2

Voir le sujet précédent Voir le sujet suivant Aller en bas

Re: Fondamentaux du big data

Message par Invité le Mer 22 Fév 2017 - 17:14

la partie proba est mathématisée et je pressens pourquoi, bref l'idée est de croiser algèbre linéaire, proba , vecteurs matrices et python

en gros au lieu de bosser sur matrices de données, on bosse sur "espaces" d'ordres variés avec un langage conçu pour cette généralisations, ce ne sont donc pas des tables mais des espaces mathématiques à propriétés spécifiques

c'est hard à suivre, mais je suppose que la pratique rendra tout cela plus clair, et puis faut faire de l'autodidacte si on pige pas, dixit ces profs

donc pas mal de temps à consacrer sauf si vous êtes diplomé en math, donc niveau l2

je présume que si je maitrise certains cours l2 me paraitront après coup simples

par moment je pige rien ...puis ça branche, le petit détail et je me dis, la vache mais qu'est ce qu'elle complique tout, puis je pige que la complexité vise à généraliser les propriétés pour pouvoir les programmer ensuite en python comme une formule complexe à appliquer sur un espace de données

je continue mais c'est hard, je ne suis pas un matheux à la base du tout, je suis un pragmatique peu pas dire mieux

mais bon pas ce choix,

le cours d'analyse en survol a l'air du même accabit donc finalement 3 semaines de math en quelque sorte et un peu de database et de prog mais peu

l'idée est aussi de lister les compétences à acquérir dans un tableau double entrée de voir celles acquises en pré requis, celle acquise avec le mooc et celles à acquérir par d'autres moyens

le drame c'est que les délais sont courts l'examen est début avril pour le dire ainsi, quizzà finir pour le 4

pas certain d'y arriver dans ces délais ni de tout assimiler à cette vitesse,

bref je continue comme je peux, on verra pour la suite

je ne suis pas surdoué en math mais je découvre que finalement je ne suis pas nul quand même

lol

il faut de la constance et de la persévérance comme souvent

99% de sueur et 1% de génie , la sueur c'est casse pied


Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Mer 22 Fév 2017 - 19:21

Moi aussi j esuis nulle ne maths mais j'aime bien quand même , je découvre des choses, c'est dommage qu'on nous fasse pas faire tout ça au lycée.

Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Mer 22 Fév 2017 - 19:41

oui mais les moyens ont considérablement changé depuis 1996, il y une révolution depuis l'internet

on peut apprendre chez soi aussi des choses qui étaient accessibles qu'à des minorités et surtout mondialement et cela ets un immense progrès

c'était l"intention première de l'internet d'ailleurs, le partage de savoir

mais cela a merdoyé comme tout

mais il reste des bonus

il ya un hyperchoix de formation, pas assez d'une vie pour toutes les faire , mais on peut en effet apprendre à haut niveau

ce mooc est donc loin d'être le plus accessible mais on peut en effet apprendre bcp

quand on sait pas on peut prendre un mot clef et chercher une autre explication ailleurs

par exemple sur cette semaine 3





j'adore les videos de khan academy notamment



Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Mer 22 Fév 2017 - 19:48





etc etc

on en viendrait à comprendre et aimer les maths, c'est ti pas cool :-)



Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Mer 22 Fév 2017 - 19:58

mon idée avant ce mooc était de refaire une formation de math de zéro comme si je ne savais rien et de revoir toute la pyramide de connaissance pour aller le plus haut après

ici je passe d'un segment à un autre , et au détour on complète par des choses peu ou pas connues, la prof dans le mooc d'ailleurs le précise bien

tu sais pas, démmerdes toi pour compenser ou apprendre, bref acquérir le pré requis, j'ai pas mal de pré requis mais aussi des faiblesses et des lacunes

je connais bien les stats et les probas par exemple mais nettement moins sous l'angle formel mathématique que peu utilisent en fin de compte dans la pratique, maisje comprend qu'ici c'est important de piger et assimiler ces concepts de cette manière

un des brols aussi analyse



bref , je devrais faire un tableau

1-concept à assimiler
2-cours correspondant
3- ressources didactique associée

du coup le mooc se simplifie en x concepts à digérer et x sources à comprendre

on peut poster en remarque ou espace dédié questions et aides de ce type, mais je ne suis pas certain que ma manière d'avancer soit partagée , je ne veux rien déranger dans la pièce :-)

je suis sage du coup , ça me ressemble peu :-)


Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Mer 22 Fév 2017 - 20:16

Je n'en suis qu'à la semaine 1. Mais je vais me bouger pour avancer un peu.
Super les vidéos, j'en aurai besoin aussi je pense !

Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Mer 22 Fév 2017 - 20:20

oki bon courage :-)


Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Mer 22 Fév 2017 - 21:13

et de la chance :p

Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par jesaispas le Jeu 23 Fév 2017 - 5:12

Si tu as besoin d'aide THQIsansdéconner tu peux également me contacter.
Merci Zebulon2.52 d'avoir fait vivre mon post.

jesaispas
Rayures timides
Rayures timides

Messages : 28
Date d'inscription : 08/12/2016

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par soto² le Jeu 23 Fév 2017 - 8:11

HS, quoi que...:
Pour ceux que çà intéresse, j'aimerai bien reparler de l'utilisation des outils de traitement de l'information "parallèles et distribués" (type réseaux de neurones formel et systèmes multi-agents) et "évolutionnaires" (type algos "génétiques") dans une optique plus cognitive qu'opérationnelle. Et l'associer avec  d'éventuels projets robotiques (Arduino etc). Peut-être lancer un fil sur le sujet, mais pas avant la rentrée prochaine (automne 2017) pour moi.

L' éclairage de la seconde cybernétique sur la révolution du Big Data:

J'ai vu qu'il y a d'autres fils sur la thématique des Big Data. çà serait bien de les regrouper. J'imagine qu'il faut s'adresser à la modération ?!

En tout cas, bon courage à ceux qui suivent ces formations ! Cool
avatar
soto²
Rayures indélébiles
Rayures indélébiles

Messages : 1465
Date d'inscription : 07/12/2016
Localisation : Non, processus parallèles & distribués

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Jeu 23 Fév 2017 - 11:05

jesaispas a écrit:Si tu as besoin d'aide THQIsansdéconner tu peux également me contacter.
Merci Zebulon2.52 d'avoir fait vivre mon post.

de rien donc:-)

merci d'avoir poster ce topic, sans quoi je n'aurais pas branché dessus :-)


Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Jeu 23 Fév 2017 - 11:19

x





Dernière édition par Zebulon2.52 le Jeu 23 Fév 2017 - 16:04, édité 1 fois

Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Jeu 23 Fév 2017 - 11:22

x





Dernière édition par Zebulon2.52 le Jeu 23 Fév 2017 - 16:05, édité 1 fois

Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Jeu 23 Fév 2017 - 11:32

x





Dernière édition par Zebulon2.52 le Jeu 23 Fév 2017 - 16:05, édité 1 fois

Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Jeu 23 Fév 2017 - 11:45

x


Dernière édition par Zebulon2.52 le Jeu 23 Fév 2017 - 16:05, édité 1 fois

Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par L'individu le Jeu 23 Fév 2017 - 11:59

Une bombe au graphite ou electromagnétique sur les sites de stockage. Ça sera peut-être l'avenir...
avatar
L'individu
Rayures vénérables
Rayures vénérables

Messages : 18249
Date d'inscription : 09/02/2011
Age : 59
Localisation : Un pied hors de la tombe

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Invité le Jeu 23 Fév 2017 - 12:42

x


Dernière édition par Zebulon2.52 le Jeu 23 Fév 2017 - 16:05, édité 1 fois

Invité
Invité


Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par prométhéus le Jeu 2 Mar 2017 - 23:29

MOOC sympa, l'ensemble est très cohérent, mais les cours sont beaucoup trop succincts.


avatar
prométhéus
Rayures fidèles
Rayures fidèles

Messages : 298
Date d'inscription : 26/04/2015
Age : 36
Localisation : troisième planète du système solaire

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par soto² le Mer 8 Mar 2017 - 11:52

OpenClassroom (mooc) > Formation "Data Architect"


"Le déluge de données actuel a fait apparaître un nouveau défi : concevoir et mettre en place les infrastructures informatiques permettant le passage à l’échelle du stockage et de l’analyse. Le rôle de Data Architect, à la pointe de la révolution Big Data, a été créé pour répondre à ce défi. Grâce à OpenClassrooms et CentraleSupélec, devenez architecte des données ! ", Ecole Centrale SupElec, 500 € / mois, durée approx. env. 6 mois.

Source : Formation "Data Architect"
avatar
soto²
Rayures indélébiles
Rayures indélébiles

Messages : 1465
Date d'inscription : 07/12/2016
Localisation : Non, processus parallèles & distribués

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par prométhéus le Ven 10 Mar 2017 - 23:36

soto² a écrit:

OpenClassroom (mooc) > Formation "Data Architect"


"Le déluge de données actuel a fait apparaître un nouveau défi : concevoir et mettre en place les infrastructures informatiques permettant le passage à l’échelle du stockage et de l’analyse. Le rôle de Data Architect, à la pointe de la révolution Big Data, a été créé pour répondre à ce défi. Grâce à OpenClassrooms et CentraleSupélec, devenez architecte des données ! ", Ecole Centrale SupElec, 500 € / mois, durée approx. env. 6 mois.

Source : Formation "Data Architect"

Il parait qu'un pigeon est plus intelligent que l'on pouvait s'imaginer,
après il serait étonnant qu'il soit capable de faire ce genre de formation en moins de 6 mois.



avatar
prométhéus
Rayures fidèles
Rayures fidèles

Messages : 298
Date d'inscription : 26/04/2015
Age : 36
Localisation : troisième planète du système solaire

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Zebulon252 le Sam 11 Mar 2017 - 0:49

x


Dernière édition par Zebulon252 le Dim 12 Mar 2017 - 23:17, édité 1 fois
avatar
Zebulon252
Rayures apprivoisées
Rayures apprivoisées

Messages : 633
Date d'inscription : 05/03/2017
Age : 54
Localisation : namur belgique terre où ce qu'il en reste

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par prométhéus le Sam 11 Mar 2017 - 23:44

La premier échelon dans ce mooc, c'est de comprendre les méthodes classiques de régressions .
Il y a plusieurs façon d'appréhender le truc.
L'idée de base est de faire passer une courbe exprimée sous forme d'un polynôme, qui passerait par un certains nombre de points
Pour un point le degré du polynôme doit être de un
Pour deux points le degré doit être de deux
etc ...

Le problème est un problème matriciel
V est la matrice de van der Monde
Pour n points de coordonnées (αi,βi)

et V=[θ0,θ1,θ2,...θn-1] matrice colonne.

Cela correspond au polynôme y(x)=θ0+θ1x+θ2x²+... qui passe par tous les points
On pose Y=[β0,β1...] matrice colonne

Matriciellement

AV=Y
On cherche V, coefficient du polynôme
Il suffira donc d'inverser A et c'est fini.

Maintenant que se passe t'il quand le nombre de points devient supérieur au degré-1 du polynôme.
Nous avons encore une matrice de Van der Monde, mais elle n'est plus inversible.
Géométriquement, si dans les problèmes précédent, il s'agissait de faire correspondre un vecteur à unique vecteur de Rn,
Là nous faisons une projection d'un vecteur dans un hyperplan...


Ici s'ouvre via le MOOC, trois méthodes:
1:
On cherche à minimiser la somme de tous les termes | y_théorique - y_reel|²
Pour le cas d'un polynôme de de degré un (droite de régression) , cela va être une équation quadratique (f(x,y)=ax²+bxy+cy²)
Si la matrice hessienne a des valeurs propres de même signe et positive, la surface z=f(x,y) sera convexe.
Donc trouver les θ0 et θ1 tel que df(θ0,θ1)=0

2:

On inverse la matrice de van der Monde via la méthode en décomposition en valeur singulière SVD

3:

si on a
Ax=y


on aura x = (At.A)^(-1)*y
C'est la méthode utilisée dans les exercices finaux du mooc.


Bon y a tous les choses très intéressantes sur la notion de perceptron, la notion de classifieur binaire, c'est très vite abordée mais pas déterminant pour la validation des quizz.

















avatar
prométhéus
Rayures fidèles
Rayures fidèles

Messages : 298
Date d'inscription : 26/04/2015
Age : 36
Localisation : troisième planète du système solaire

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Zebulon252 le Dim 12 Mar 2017 - 0:03

x


Dernière édition par Zebulon252 le Dim 12 Mar 2017 - 23:17, édité 1 fois
avatar
Zebulon252
Rayures apprivoisées
Rayures apprivoisées

Messages : 633
Date d'inscription : 05/03/2017
Age : 54
Localisation : namur belgique terre où ce qu'il en reste

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Zebulon252 le Dim 12 Mar 2017 - 13:25

x
avatar
Zebulon252
Rayures apprivoisées
Rayures apprivoisées

Messages : 633
Date d'inscription : 05/03/2017
Age : 54
Localisation : namur belgique terre où ce qu'il en reste

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par izo le Dim 16 Avr 2017 - 22:18

Mon petit cheveu sur la soupe, ci dessous des liens instructifs sur ce thème sans fond
https://eric.univ-lyon2.fr/~ricco/data-mining/ (université de Lyon 2)...
et deux autres en anglais
http://datascience.ibm.com/
http://www.ccsu.edu/datamining/

Bonne réception
avatar
izo
Rayures indélébiles
Rayures indélébiles

Messages : 1078
Date d'inscription : 20/04/2016
Localisation : Izolune

Revenir en haut Aller en bas

Re: Fondamentaux du big data

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Page 2 sur 2 Précédent  1, 2

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum