Exercicio 3 - K-means

Esse exercicio é baseado no dataset Crash Car do Kaggle. O objetivo é analisar a base de dados, limpá-la e no final construir um modelo K-means

Etapa 1 - Analise e instalação dos dados

O dataset foi carregado a partir de um arquivo Excel, contendo informações como tipo de colisão, tipo de lesão, dia da semana, fatores primários do acidente, data, hora e localização.

Carregando os dados

SaídaCódigo

Formato do dataset: (53943, 11)

import pandas as pd
# Ler o arquivo corretamente (apenas )
df = pd.read_excel("docs/arvore-decisao/crashcar.xlsx")

# Visualização inicial da base de dados
print('Formato do dataset:', df.shape)

O dataset possui 53943 linha e 11 colunas.

As bibiliotecas utilizadas

    import numpy as np
    import pandas as pd
    import matplotlib.pyplot as plt
    import seaborn as sns
    from io import StringIO

    from sklearn.datasets import make_classification
    from sklearn.preprocessing import StandardScaler
    from sklearn.model_selection import train_test_split
    from sklearn.neighbors import KNeighborsClassifier
    from sklearn.metrics import accuracy_score, classification_report, confusion_matrix

Explicação dos tipos de dados

tipo de dadosCódigo

Year : int64

Month : int64

Day : int64

Weekend? : object

Hour : float64

Collision Type : object

Injury Type : object

Primary Factor : object

Reported_Location : object

Latitude : float64

Longitude : float64

    for col in df:
    print(col, ":", df[col].dtype, "\n")

Explicação

Int64: Dados numéricos inteiros, como Year, Month, Day, Hour e Latitude.
Object: Dados categóricos ou textuais, como Collision Type, Injury Type, Weekend?, Primary Factor e Time.
FLoat64: Dados numéricos com casas decimais, como Longitude, Latitude e Hora.

Estatisticas descritivas dos numéricos

SaídaCódigo

Formato do dataset: (53943, 11) Estatísticas das colunas numéricas:

	Year	Month	Day	Hour	Latitude
53566	2003	6	4	900.0	0.000000
40835	2006	2	3	700.0	0.000000
14863	2012	7	5	1700.0	39.164240
14028	2012	3	6	1400.0	39.168619
45347	2004	8	2	2100.0	39.208858
7264	2014	4	1	1500.0	39.150350
4823	2014	7	5	1500.0	39.193771
9149	2013	11	7	400.0	39.182689
50126	2003	3	2	1500.0	39.178928
38629	2006	9	5	1800.0	39.166768

# Estatísticas descritivas das colunas numéricas
print('Estatísticas das colunas numéricas:')
print(df[['Year', 'Month', 'Day', 'Hour', 'Latitude']].describe())

Visualização dos dados

Visualizações: Foram criados gráficos de barras para o número de acidentes por tipo de veículo e por gravidade (fatal/não fatal), facilitando a compreensão dos dados.

Exploração inicial dos dados

import matplotlib.pyplot as plt
import pandas as pd
df = pd.read_excel("docs/arvore-decisao/crashcar.xlsx")

# Visualização inicial da base de dados
print(f'Formato do dataset: {df.shape}<br>')

# Explicação de tipo de dado em cada coluna
for col in df:
    print(df[col].head(1), "<br>")
print('Valores nulos por coluna:')
print(df.isnull().sum(), "<br>")


################################################
# Estatísticas descritivas das colunas numéricas
print('Estatísticas das colunas numéricas:')
print(df[['Year', 'Month', 'Day', 'Hour', 'Latitude']].describe())

Etapa 2

Normalização de dados categóricos em numéricos

Tipo de ColisãoTipo de LesãoDia da semanaMotivo lesão

SaídaCódigo

	Collision Type	Collision Type Num
0	2-Car	1
1	2-Car	1
2	2-Car	1
3	2-Car	1
4	2-Car	1
5	2-Car	1
6	2-Car	1
7	1-Car	1
8	2-Car	1
9	1-Car	1

def collision_to_num(collision):
    if collision == '1-Car' or collision == '2-Car' or collision == '3+ Cars':
        return 1
    elif collision == 'Moped/Motorcycle':
        return 2
    elif collision == 'Bus':
        return 3
    elif collision == 'Pedestrian':
        return 4
    elif collision == 'Cyclist':
        return 5
    else:
        return 0
df['Collision Type Num'] = df['Collision Type'].apply(collision_to_num)

SaídaCódigo

	Injury Type	Injury Type Num
0	No injury/unknown	0
1	No injury/unknown	0
2	Non-incapacitating	0
3	Non-incapacitating	0
4	No injury/unknown	0
5	No injury/unknown	0
6	No injury/unknown	0
7	Incapacitating	0
8	No injury/unknown	0
9	No injury/unknown	0

def injury_to_num(injury):
    if injury == 'Fatal':
        return 1
    else:
        return 0

df['Injury Type Num'] = df['Injury Type'].apply(injury_to_num)

SaídaCódigo

	Weekend?	Weekend Num
0	Weekday	2
1	Weekday	2
2	Weekend	1
3	Weekend	1
4	Weekend	1
5	Weekday	2
6	Weekday	2
7	Weekday	2
8	Weekend	1
9	Weekend	1

def weekend_to_num(value):
    if str(value).lower() == 'weekend':
        return 1
    elif str(value).lower() == 'weekday':
        return 2
    else:
        return 0
df['Weekend Num'] = df['Weekend?'].apply(weekend_to_num)

SaídaCódigo

	Primary Factor	Primary Factor Num
0	OTHER (DRIVER) - EXPLAIN IN NARRATIVE	0
1	FOLLOWING TOO CLOSELY	1
2	DISREGARD SIGNAL/REG SIGN	1
3	FAILURE TO YIELD RIGHT OF WAY	1
4	FAILURE TO YIELD RIGHT OF WAY	1
5	FAILURE TO YIELD RIGHT OF WAY	1
6	DRIVER DISTRACTED - EXPLAIN IN NARRATIVE	5
7	ENGINE FAILURE OR DEFECTIVE	3
8	FOLLOWING TOO CLOSELY	1
9	RAN OFF ROAD RIGHT	1

1 = Erros de julgamento do motorista
2 = Velocidade / comportamento arriscado
3 = Falhas mecânicas
4 = Condições da estrada / ambientais
5 = Distrações
6 = Uso de Substâncias
7 = Fatores diversos
8 = Outros

def primary_factor_to_num(factor):
    if factor == 'Erros de julgamento do motorista':
        return 1
    elif factor == 'Velocidade / comportamento arriscado':
        return 2
    elif factor == 'Falhas mecânicas':
        return 3
    elif factor == 'Condições da estrada / ambientais':
        return 4
    elif factor == 'Distrações':
        return 5
    elif factor == 'Uso de Substâncias':
        return 6
    elif factor == 'Fatores diversos':
        return 7
    else:
        return 0  # Outros / não especificado
df['Primary Factor Num'] = df['Primary Factor'].apply(primary_factor_to_num)

Conversão de variáveis categóricas em numéricas: tipo de colisão, tipo de lesão, dia da semana e fator primário foram transformados em variáveis numéricas para facilitar os proximos processos e estabelecer uma normalização.

Limpeza

SaídaCódigo

Tamanho do dataset antes remoção de valores ausentes (53943, 11)
Tamanho do dataset após remoção de valores ausentes (52582, 11)

print(df.shape)
print("Tamanho do dataset antes remoção de valores ausentes")
df = df.dropna()
print(df.shape)
print("Tamanho do dataset após remoção de valores ausentes")

Todos os registros com valores ausentes foram removidos, garantindo a integridade dos dados para o treinamento do modelo

Etapa 3

Separação em treino e teste / K-means

SaídaCódigo

Centroides dos clusters (em escala padronizada):
[[ 1.58664005e-03 1.00780294e-02 3.92705724e-01 -2.91278088e-02 2.42895792e-03 -2.76172190e-02 -4.68172396e-02 -1.75496989e+00 6.39398256e-02] [-1.98031270e-04 -3.17567629e-03 -1.27472120e-01 1.13718837e-02 -1.08655260e-03 7.45303835e-03 -4.68172396e-02 5.69810347e-01 -2.05893568e-02] [-1.08960236e-01 -3.12968195e-02 6.46580913e-02 -6.65313678e-01 1.03116990e-01 5.16250018e-01 2.13596531e+01 -3.39886266e-01 -4.64913543e-02]]

Quantidade de registros por cluster: Cluster 1 39624 0 12843 2 115 Name: count, dtype: int64

##########################################
# Aplicando o modelo K-Means

# Definindo número de clusters (ex: 3, mas pode ajustar)
kmeans = KMeans(n_clusters=3, init='k-means++', random_state=42, n_init=10)
kmeans.fit(X_scaled)

# Atribui os clusters ao dataframe
df['Cluster'] = kmeans.labels_

Grafico simples

Saída

Grafico cluster

Saída