A Comprehensive Comparative Study of Toxic Language Detection in Roman Urdu Using Hybrid Machine Learning, Deep Learning, and LoRA-Optimized Transformer Models

Abstract

The rapid growth of social media has intensified the spread of toxic language, abusive comments, and harmful online discourse, creating serious challenges for digital safety and automated moderation. This study presents a comprehensive framework for toxic language detection in Roman Urdu using machine learning, deep learning, and transformer-based approaches. First, we do the preprocessing and normalization, then text features were extracted using TF-IDF and Count Vectorizer with unigram, bigram, trigram, and combined n-gram settings. The classification models included Naive Bayes, Logistic Regression, Random Forest, Support Vector Machine, Decision Tree, AdaBoost, XGBoost, Convolutional Neural Network, Bidirectional Long Short-Term Memory, and LLaMA 3 fine-tuned with Low-Rank Adaptation. Experimental findings show that transformer-based fine-tuning produced the strongest results, with LLaMA 3 + LoRA achieving the highest F1-score of 96.78%, outperforming all baseline machine learning and deep learning models. Among conventional methods, XGBoost and Support Vector Machine demonstrated strong and stable performance, while CNN emerged as the best-performing deep learning baseline. The results confirm that parameter-efficient transformer adaptation is highly effective for toxic language detection in Roman Urdu and provides a scalable solution for content moderation in low-resource multilingual settings.

Spanish-language metadata / Metadatos en español
Título en español:

Un estudio comparativo exhaustivo sobre la detección de lenguaje tóxico en urdu romanizado mediante modelos híbridos de aprendizaje automático, aprendizaje profundo y transformadores optimizados con LoRA.

Resumen:
El rápido crecimiento de las redes sociales ha intensificado la propagación del lenguaje tóxico, los comentarios abusivos y los discursos perjudiciales en línea, lo que plantea importantes desafíos para la seguridad digital y la moderación automatizada. Este estudio presenta un marco integral para la detección de lenguaje tóxico en urdu romanizado mediante enfoques de aprendizaje automático, aprendizaje profundo y modelos basados en transformadores. En primer lugar, se realizaron el preprocesamiento y la normalización del texto; posteriormente, se extrajeron sus características mediante TF-IDF y CountVectorizer, utilizando configuraciones de unigramas, bigramas, trigramas y combinaciones de n-gramas. Los modelos de clasificación incluyeron Naive Bayes, regresión logística, bosque aleatorio, máquina de vectores de soporte, árbol de decisión, AdaBoost, XGBoost, red neuronal convolucional, memoria larga de corto plazo bidireccional y LLaMA 3 ajustado mediante adaptación de bajo rango. Los resultados experimentales muestran que el ajuste fino basado en transformadores produjo el mejor desempeño, ya que LLaMA 3 + LoRA alcanzó la puntuación F1 más alta, con un 96.78 %, y superó a todos los modelos de referencia de aprendizaje automático y aprendizaje profundo. Entre los métodos convencionales, XGBoost y la máquina de vectores de soporte mostraron un rendimiento sólido y estable, mientras que la red neuronal convolucional fue el modelo de referencia de aprendizaje profundo con mejor desempeño. Los resultados confirman que la adaptación de transformadores eficiente en parámetros es altamente eficaz para detectar lenguaje tóxico en urdu romanizado y proporciona una solución escalable para la moderación de contenidos en entornos multilingües con recursos limitados.

Smart citations:

https://scite.ai/reports/10.61467/2007.1558.2026.v17i4.1528
Dimensions.
Open Alex.