Upload 3 files

src/model_load.py

@@ -0,0 +1,62 @@
+from langchain.chains import RetrievalQAWithSourcesChain
+from langchain.llms import HuggingFacePipeline
+from transformers import AutoTokenizer, pipeline, AutoModelForCausalLM, BitsAndBytesConfig
+import torch
+from langchain.prompts import PromptTemplate
+from langchain.llms import HuggingFaceHub
+from langchain.chains import LLMChain
+
+def load_model():
+
+    model_name="tiiuae/Falcon3-7B-Instruct"
+    max_memory = {0: "24GB", "cpu": "30GB"}
+    # Cargar tokenizer y modelo de Hugging Face
+    tokenizer = AutoTokenizer.from_pretrained(model_name)
+    model = AutoModelForCausalLM.from_pretrained(model_name,
+                                                 torch_dtype=torch.bfloat16).to("cuda")
+    
+    # Crear pipeline de generación de texto
+    text_generation_pipeline = pipeline(
+    "text-generation",
+    model=model,
+    tokenizer=tokenizer,
+    max_new_tokens=128,
+    repetition_penalty=1.2,
+    device_map="auto"
+    )
+    # Crear el LLM compatible con LangChain
+    llm = HuggingFacePipeline(pipeline=text_generation_pipeline)
+
+    # Crear la plantilla de prompt que tomará el texto y la pregunta
+    prompt_template = """
+    Dado el siguiente texto extraído de varios documentos y una pregunta, crea una respuesta utilizando la información proporcionada. Si la pregunta sale por fuera de la información proporcionada responde con "No tengo información al respecto" y corta la respuesta.
+
+    **Documentos relevantes:**
+    {documento}
+
+    **Pregunta:**
+    {pregunta}
+
+    **Respuesta:**
+    """
+
+    # Crear el prompt con las variables necesarias
+    prompt = PromptTemplate(input_variables=["documento", "pregunta"], template=prompt_template)
+
+    # Crear una cadena de LLMChain que combine el retriever y el prompt
+    qa_chain = prompt | llm
+    return qa_chain
+def ask(pregunta: str,retriever,qa_chain):
+
+    
+    
+    #Busqueda de documentos mediante el retriever
+    documentos=retriever.invoke(pregunta)
+
+    #Generacion de la respuesta
+    respuesta = qa_chain.invoke({
+    "documento": "\n".join([doc.page_content for doc in documentos]),
+    "pregunta": pregunta
+    })
+
+    return respuesta

src/preprocess.py

@@ -0,0 +1,73 @@
+from langchain_community.document_loaders import PyMuPDFLoader
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+import re
+
+class Loader:
+    """Clase encargada de la carga desde PDFs, 
+    admite PDFs con texto seleccionable unicamente. Realiza
+    carga y devuelve lista de chunks de texto.
+    """
+    def __init__(self, path: str):
+        self.path = path
+
+    def load_docs(self, pag: slice = None):
+        """Carga el PDF y devuelve lista de chunks de texto."""
+        loader = PyMuPDFLoader(self.path)
+        docs = loader.load()
+        if pag:
+            docs = docs[pag]
+        return [doc.page_content for doc in docs]
+
+    @staticmethod
+    def limpiar_texto(texto: str) -> str:
+        """
+        Limpia el texto eliminando caracteres basura y normalizando espacios y saltos de línea.
+        Esta función está diseñada para preprocesar libros u otros documentos largos,
+        facilitando su uso en aplicaciones de Retrieval Augmented Generation (RAG).
+
+        Args:
+            texto (str): El texto original a limpiar.
+
+        Returns:
+            str: El texto limpio.
+        """
+        # 1. Eliminar saltos de línea, tabulaciones y otros caracteres de control
+        texto = re.sub(r'[\r\n\t]+', ' ', texto)
+        
+        # 2. Eliminar caracteres no imprimibles (códigos de control)
+        texto = re.sub(r'[\x00-\x1F\x7F]', '', texto)
+        
+        # 3. Sustituir múltiples espacios por uno solo
+        texto = re.sub(r'\s+', ' ', texto)
+        
+        # 4. Eliminar caracteres que no sean letras, dígitos o signos de puntuación comunes
+        # Se conservan letras con acentos y caracteres propios del español.
+        texto = re.sub(r'[^\w\s.,;:¡!¿?\-áéíóúÁÉÍÓÚñÑ]', '', texto)
+        
+        # 5. Eliminar espacios al inicio y al final
+        texto = texto.strip()
+        
+        return texto
+    
+    @staticmethod
+    def splitter(texto, chunk_size, chunk_overlap):
+        """
+        Divide el texto en chunks
+
+        Args:
+            chunk_size (int): Largo del chunk.
+            chunk_overlap (int): Sobreposición de chunks.
+            texto (list): lista de textos a procesar.
+
+        Returns:
+            list: Los textos en chunks.
+        """
+        splitter = RecursiveCharacterTextSplitter(
+                chunk_size=chunk_size,
+                chunk_overlap=chunk_overlap,
+                length_function=len,
+                separators=["\n\n", "\n", " ", ""]
+            )
+        chunks = splitter.create_documents(texto)
+
+        return chunks

src/vdb.py

@@ -0,0 +1,16 @@
+from sentence_transformers import SentenceTransformer
+from langchain.schema import Document
+
+
+
+class EmbeddingGen:
+
+    def __init__(self, model_name: str):
+        self.model = SentenceTransformer(model_name)
+    
+    def embed_documents(self, chunks):
+        return [self.model.encode(chunk) for chunk in chunks]
+    
+    def embed_query(self, text):
+        return self.model.encode(text)
+