Agrupamiento Ejemplos de entrada - GIAA

Agrupamiento 


• Aprendizaje no supervisado. Objetivo: dados ejemplos sin 

etiquetar (con clase), determinar un conjunto de grupos (clusters) 

en los que se pueden dividir 

• No hay variable a predecir, sino se pretende descubrir una 

estructura en los datos. Ejemplo 

– grupos de clientes con gustos similares en libros, música, etc., para 

análisis de mercado 

• Suele servir de punto de partida para después hacer un análisis de 

clasificación sobre los clusters 

• Tipos de técnicas: 

– Aglomerativas y divisoras 

– Numéricas: k -medias, EM 

– Conceptuales: cluster/2 y cobweb 

Ejemplos de entrada 

1.9 

1.85 

1.8 

Sitio de 

acceso: A 1 

1ª cantidad 

gastada: A 2 

Vivienda: 

A 3 

Última 

compra: A 4 

1 0 2 Libro 

1 0 1 Disco 

1 2 0 Libro 

0 2 1 Libro 

1 1 1 Libro 

2 2 1 Libro 

Conceptual 

altura (m) 

1.75 

1.7 

1.65 

1.6 

1.55 

1.5 

45 50 55 60 65 70 75 80 85 90 

peso (Kg) 

Numérico 

Agrupamiento

Ejemplo de salidas 

• Conjunto de clases 

– Clase1: ejemplo4, ejemplo6 

– Clase2: ejemplo2, ejemplo3, ejemplo5 

– Clase3: ejemplo1 

• Jerarquía de clases 

Clase 1 

Clase 2 

Clase 3 Clase 4 



Ej. Problema a resolver, k=3 

5 

4 

A2? 

3 

2 

1 

1 2 3 


4 

A1?

Solución 1 

5 

4 

A2? 

3 

2 

1 

1 2 3 


4 

A1? 

Solución 2 

5 

4 

A2? 

3 

2 

1 

1 2 3 


4 

A1?

Agrupamiento con k-medias 

Problema a resolver: distribuir los ejemplos en k conjuntos, 

minimizando las distancias entre elementos dentro de cada grupo 

Algoritmo 

– Si se tienen que formar k clases, se eligen k ejemplos que 

actúan como semillas 

– Cada ejemplo se añade a la clase mas similar 

– Cuando se termina, se calcula el centroide de cada clase, 

que pasan a ser las nuevas semillas 

– Se repite hasta que se llega a un criterio de convergencia 

(p.e. Dos iteraciones no cambian las clasificaciones de los 

ejemplos) 

• Es un método de optimización local. Depende de la elección de la 

semilla inicial 

– Puede iterarse con varias semillas y seleccionar el mejor 

– Variantes para agrupamiento jerárquico 


Ejemplo de k-medias. Inicio 

A2? 

5 

4 

3 

Semilla 3 

2 

1 

Semilla 1 

Semilla 2 


1 2 3 

4 

A1?

Ejemplo de k-medias. Iteración 1 

5 

Centroide 3 

4 

A2? 

3 

2 

1 


1 2 3 



4 

A1? 


5 


4 

A2? 

3 

2 

1 


1 2 3 



4 

A1?


5 


4 

A2? 

3 

2 

1 


1 2 3 



4 

A1? 

Ej2. Problema a resolver, k=2 

5 

4 

A2? 

3 

2 

1 

1 2 3 


4 

A1?

Ej2. Inicio 

A2? 

5 

4 

3 

Semilla 1 Semilla 2 

2 

1 

1 2 3 


4 

A1? 

Ej2. Situación estable 

5 

4 

A2? 

3 

2 

1 

1 2 3 


4 

A1?

Ej2. Inicio 

A2? 

5 

4 

3 

Semilla 1 

2 

Semilla 2 

1 


1 2 3 

4 

A1? 


5 

4 

A2? 

3 

2 

1 

1 2 3 


4 

A1?

Ej2. Inicio 

5 

4 

Semilla 2 

A2? 

3 

2 

1 

Semilla 1 


1 2 3 

4 

A1? 


5 

4 

A2? 

3 

2 

1 

1 2 3 


4 

A1?

Cálculo de la distancia 

• Dados dos ejemplos X i , X j , con atributos x il , x jl , l=1,…, F 

• La similitud puede estimarse con el inverso de la distancia 

• Problemas: 

– atributos con diferentes rangos o importancias: 

• normalizar valores 

– atributos nominales: 


F 

d(X = 

2 

i , X j) 

∑ (xil−x 

jl) 

l= 

1 

• distancia estadística (Mahalanobis): 

F 

2 

ρ ρ (xil−x 

jl) 

d(Xi, 

X j) 

= ∑ , 

2 

l= 

1 σ 

l 

⎪⎧ 

1, 

d(xil, 

x jl) 

= ⎨ 

⎪⎩ 

0, 

si xil 

≠ x jl 

si xil 

= x jl 

d(Xi, 

X j) 

= 

ρ ρ t 

( ) 

1 ρ ρ 

X − X S 

− 

( X − X ) 

i 

j 

i 

j 

Agrupamiento conceptual 

• Problema de los enfoques numéricos: distancia cuando atributos son no 

numéricos 

• En el agrupamiento conceptual una partición de los datos es buena si 

cada clase tiene una buena interpretación conceptual (modelo cognitivo 

de jerarquías) 

• Hay dos tareas (Fisher y Langley, 85 y 86): 

– agrupamiento: determinación de subconjuntos útiles de un 

conjunto de datos (métodos numéricos) 

– caracterización: determinación de un concepto por cada 

subconjunto descrito extensionalmente (métodos conceptuales) 

• COBWEB es un algoritmo incremental de agrupamiento que forma un 

árbol añadiendo ejemplos uno por uno 

– La actualización con un nuevo ejemplo puede suponer ubicarlo en 

su hoja más adecuada, o bien una re-estructuración con la nueva 

información 


Ejemplo 

e 4 ? 

Clase 1 

• Varias alternativas de particiones: 

– P 1 =[{e 1 , e 2 },{e 3 , e 4 }] 

– P 2 =[{e 1 , e 2 , e 3 ,}, {e 4 }] 

• Calidad de cada partición? 

• Creación de una nueva clase?: [{e 1 , e 2 },{e 3 }, {e 4 }] 



e 1 , e 2 e 3 

Creación del árbol 

• COBWEB crea incrementalmente un árbol cuyos nodos son 

conceptos probabilísticos 

• La clasificación consiste en descender por las ramas cuyos nodos 

se equiparen mejor, basándose en los valores de varios atributos 

al mismo tiempo 

• Realiza búsqueda en escalada en el espacio de árboles 

probabilísticos de clasificación 

• Operadores: 

– Clasificar una instancia en una clase (nodo) 

– Crear una nueva clase 

– Combinar dos clases en una 

– Separar una clase en varias 

– Promocionar un nodo 

• En cada nodo se guarda: 

– Número de instancias por debajo 

– En cada atributo Aj, valor l, número de ejemplos con A j 

= V jl 



Operadores de agrupamiento 

• Clasificar una instancia: 

– Se introduce la instancia en cada una de las clases 

sucesoras de la actual y se evalúan las distintas categorías 

– Si el mejor es un nodo hoja, se introduce en el. Si no, se 

llama recursivamente al algoritmo con él 

• Crear una clase: 

– Se comparan las calidades de: 

• la partición creada por añadir la instancia a la mejor clase 

• la partición resultante de crear una nueva clase para esa 

instancia sola 

– En caso de ser mejor que este s ola, se crea un nuevo 

sucesor de la clase actual 


• Los dos operadores anteriores dependen mucho del orden de los 

ejemplos. 

– Un análisis completo de reestructuración no es viable 

– Se incorporan dos operadores básicos para compensar: 

• Combinar dos nodos: Cuando se intenta clasificar una instancia 

en un nivel, se intentan mezclar las dos mejores clases y se 

evalúan las categorías de si están mejor solas o juntas en una 

misma categoría 

e? 

A 

B 


A 

B


• Separar dos nodos: Cuando se intenta introducir una instancia 

en una clase que tenga sucesores, se estudia si se pueden subir 

los sucesores al mismo nivel que la clase 

e? 

e? 

A 

B 

• Promocionar un nodo: El mismo operador anterior, pero 

individualizado para un solo nodo 

A 

B 

e? 

e? 

A 


B 

A 

B 


Heurística de búsqueda 

• Define el nivel básico (aspecto cognitivo) 

• Ayuda a considerar al mismo tiempo la similitud intra-clase y la disimilitud 

inter-clases 

– Intra-clase (p( A i 

= V ij 

lC k 

)): cuanto mas grande, más ejemplos en la 

clase comparten el mismo valor (clases homogéneas) 

– Inter-clases (p( C k 

|A i 

=V ij 

)): cuanto mas grande, menos ejemplos de 

distintas clases comparten el mismo valor (separación entre clases) 

• Calidad de una partición {C 1 

, C 2 

,...,C M 

}, C k 

mutuamente excluyentes, es 

un compromiso entre las dos: 

M 

∑∑∑ p(Ai = Vij)p(Ck 

| Ai 

= Vij)p(Ai 

= Vij 

| Ck 

) 

k= 

1 i j 

donde p(A i 

=V ij 

) prefiere valores más frecuentes


Utilidad de una categoría 

• Como, según Bayes, 

p (A i =V ij )p(C k |A i =V ij ) = p(C k )p(A i =V ij |C k ) 

sustituyendo: M 

2 

∑ p(Ck ) ∑∑ p(Ai 

= Vij 

| Ck 

) 

k= 

1 i j 

2 

donde ∑∑ i jp(Ai = Vij 

| Ck 

) es el numero esperado de 

valores de atributos que se pueden predecir correctamente para 

un miembro cualquiera de C k 

• La utilidad de una categoría C k es la mejora con respecto a no 

tener información de la partición: 

⎡ 

2 

p(C k ) ⎢∑∑ p(A i = Vij 

| C k ) − ∑∑ p(A i = Vij 

) 

⎣ i j 

i j 

2 

⎤ 

⎥ 

⎦ 


Utilidad de una partición 

• La utilidad de una partición P={C 1 , C 2 , ..., C M } es: 

CU(P) = 

1 

M 

M 

∑ 

⎡ 

2 

p(Ck ) ⎢∑∑ p(Ai 

= Vij 

| Ck 

) − ∑∑ p(Ai 

= Vij) 

⎣ i j 

k= 

1 

i j 

• Para evitar sobreadecuamiento (un grupo por ejemplo) 

– Factor 1/M: 

– Factor de poda (cut-off): mejora en utilidad por una subdivisión 

• Si el valor V ij de un atributo A i es independiente de la pertenencia 

a la clase C k : 

p(A i =V ij |C k ) = p(A i =V ij ) 

para ese valor la utilidad de la partición es nula 

• Si lo anterior es cierto para todos los valores l, el atributo A j es 

irrelevante 

2 

⎥ 

⎦ 

⎤


Atributos numéricos 

• Los atributos numéricos se modelan con una distribución normal 

f (a ) = 

i 

1 ⎡ 1 (a − µ 

⎢− 

i ) 

exp 

2πσ 

2 

⎣ 2 σ 

• Equivalente a suma cuadrática de probabilidades: 

+∞ 

2 2 

1 

∑ jp(Ai 

= Vij 

| Ck 

) ↔ ∫ f (ai)dai 

= 

−∞ 

2 πσi 

1 M 1 ⎛ 1 1 ⎞ 

CU (C 1 , C 2 ,..., C M ) = ∑ p (C k ) ∑ ⎜ − ⎟ 

M k = 1 2 π i ⎝ σ ik σ i ⎠ 

⎤ 

⎥ 

⎦ 

• Un grupo con un ejemplo tendría utilidad infinita: 

– Agudeza (acurity): mínima varianza en un grupo 

2 

Algoritmo de agrupamiento 

Nodo COBWEB (Instancia,Nodo) { 

Actualizar los contadores de Nodo; 

Si Nodo es hoja 

Entonces IncluirInstancia (Instancia,Nodo); 

Devolver Nodo 

Si no MejorNodo= MejorClase (Instancia,Nodo); 

Si es apropiado crear una nueva clase 

Entonces Nuevo-nodo:= CrearNodo (Instancia,Nodo); 

Devolver Nuevo-nodo 

Si es apropiado combinar dos nodos 

Entonces Nuevo-nodo:= CombinarNodos (Instancia,Nodo); 

Devolver COBWEB (Instancia,Nuevo-nodo) 

Si es apropiado separar dos nodos 

Entonces Nuevo-nodo:= SepararNodos (Instancia,Nodo); 

Devolver COBWEB (Instancia,Nodo) 

Si es apropiado promocionar un nodo 

Entonces Nuevo-nodo:= PromocionarNodo (Instancia,Nodo); 

Devolver COBWEB (Instancia,Nodo) 

Si no, Devolver COBWEB (Instancia,MejorNodo) } 


Agrupamiento probabilístico (EM) 

• El agrupamiento con categorías presenta algunos problemas 

– Dependencia del orden 

– Tendencia al sobreajuste 

• Esta aproximación evita las divisiones prematuras, asignando 

parámetros a un modelo de mezcla de distribuciones 

• Mezcla de k distribuciones de probabilidad, representando los k 

0.06 

clusters. 

0.05 

µ1=18; µ2=40; 

0.04 

σ1=8; σ2=6; 

0.03 

p1=0.6 

0.02 

p2=0.4 

p(a) 

0.01 

0 

0 10 20 30 40 50 60 

a 

• Se determina la probabilidad de que cada instancia proceda de 

cada grupo 


Algoritmo EM 

• Se determina el número de grupos a ajustar: k 

• En cada grupo, parámetros de las distribuciones de cada atributo 

p i 

, µ i 

, σ i 

i=1...k 

Ej.: 2 grupos (A, B) y un atributo: 5 parámetros 

• En cada iteración hay dos etapas: 

• “Expectation”: se calculan las probabilidades de cada ejemplo en 

cada uno de los grupos 

⎡ 

2 

f (x | A)p 

− µ ⎤ 

= A 1 1 (x 

= ⎢− 

A ) 

Pr(A | x) 

; f (x | A) exp 

⎥ 

f (x) 

2πσ 

2 

A ⎣ 2 σA 

⎦ 

• “Maximization”: se calculan los parámetros de las distribuciones 

que maximicen la verosimilitud de las distribuciones 

wi 

= Pr(A | xi); 

w1x1 

+ ...w x 

µ 

n n 

A = 

; 

w1 

+ ...w n 


2 

2 w1(x1 

− µ A ) + ...w n (xn 

− µ A ) 

σA 

= 

; 

w1 

+ ...w n

Algoritmo EM 

• Condición de parada: 

– se estima la verosimilitud sobre todo el conjunto de instancias: 

n 

∏ [ f (xi 

| A)pA 

+ f (xi 

| B) pB] 

i= 

1 

– se para cuando la mejora en sucesivas iteraciones está debajo de ε 

• Extensión: 

– Ejemplos con varios atributos y clases 

• Puede asumirse independencia (Naive Bayes) o estimar 

covarianzas (problema de sobreajuste) 

– Atributos nominales: 

• Se determinan las probabilidades condicionales para cada 

valor 

– No asegura mínimo global: varias iteraciones 

– Se pueden estimar el número de grupos automáticamente, 

mediante validación cruzada 


Ejemplo 

• 300 datos procedentes de dos distribuciones (no conocidas) 

– pA=0.8; µA=18; σA=8; pB=0.2; µB=50; σB=6; 

• Inicialización: 

– pA=pB=0.5; σA=σΒ=10.0;µA,µB en dos ejemplos al azar 

0.045 

0.04 

0.035 

0.03 

0.025 

0.02 

0.015 

0.01 

0.005 

0 

-20 -10 0 10 20 30 40 50 60 70 


Ejemplo 

0.045 

0.04 

0.035 

0.03 

0.025 

0.02 

Iteración 2 

pA = 0.57; mA =30.68; 

sA =15.0299 

pB = 0.42; mB =14.61 

sB = 7.23 

0.045 

0.04 

0.035 

0.03 

0.025 

0.02 

Iteración 5 

pA = 0.45; mA =33.42; 

sA =16.38 

pB = 0.55; mB =16.05 

sB = 6.1 

0.015 

0.015 

0.01 

0.01 

0.005 

0.005 

0 

-20 -10 0 10 20 30 40 50 60 70 

0 

-20 -10 0 10 20 30 40 50 60 70 

0.045 

0.045 

0.04 

0.035 

0.03 

0.025 

0.02 

0.015 

Iteración 15 

pA = 0.33; mA =39.0; 

sA =14.7 

pB = 0.67; mB =16.37 

sB = 6.75 

0.04 

0.035 

0.03 

0.025 

0.02 

0.015 

Iteración 30 

pA = 0.2; mA =49.2; 

sA =7.1 

pB = 0.8; mB =17.54 

sB = 7.54 

0.01 

0.01 

0.005 

0.005 

0 

-20 -10 0 10 20 30 40 50 60 70 

0 

-20 -10 0 10 20 30 40 50 60 70

Agrupamiento Ejemplos de entrada - GIAA

Create successful ePaper yourself

Delete template?

Save as template?