Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -1,6 +1,3 @@
|
|
| 1 |
-
# !pip install uv
|
| 2 |
-
# !uv pip install -r requirements.txt
|
| 3 |
-
|
| 4 |
import os
|
| 5 |
import yaml
|
| 6 |
import gradio as gr # Importe o Gradio
|
|
@@ -34,7 +31,6 @@ os.makedirs(VS_BASE, exist_ok=True)
|
|
| 34 |
|
| 35 |
# --- CONFIGURAÇÕES DE MODELOS ---
|
| 36 |
LLM_MODEL = 'google/gemma-3-4b-it'
|
| 37 |
-
# LLM_MODEL = 'google/gemma-3-1b-it'
|
| 38 |
EMBEDDING_MODEL = "sentence-transformers/all-MiniLM-L6-v2"
|
| 39 |
|
| 40 |
# ------------ criando vs -----------------
|
|
@@ -69,14 +65,12 @@ url_list = [
|
|
| 69 |
# Carregue o conteúdo da página web como documentos LangChain
|
| 70 |
loader = WebBaseLoader(web_paths=url_list)
|
| 71 |
docs = loader.load()
|
| 72 |
-
print(f"Total de páginas carregadas: {len(docs)}")
|
| 73 |
|
| 74 |
text_splitter = CharacterTextSplitter(chunk_size=1500, chunk_overlap=100)
|
| 75 |
split_docs = text_splitter.split_documents(docs)
|
| 76 |
-
embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL
|
| 77 |
-
cache_folder=VS_BASE)
|
| 78 |
vector_store = FAISS.from_documents(split_docs, embeddings)
|
| 79 |
-
# vs_base = "../vector_store/vs_base"
|
| 80 |
os.makedirs(VS_BASE, exist_ok=True)
|
| 81 |
vector_store.save_local(VS_BASE)
|
| 82 |
print(f"vs_base salva em {VS_BASE}")
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
import os
|
| 2 |
import yaml
|
| 3 |
import gradio as gr # Importe o Gradio
|
|
|
|
| 31 |
|
| 32 |
# --- CONFIGURAÇÕES DE MODELOS ---
|
| 33 |
LLM_MODEL = 'google/gemma-3-4b-it'
|
|
|
|
| 34 |
EMBEDDING_MODEL = "sentence-transformers/all-MiniLM-L6-v2"
|
| 35 |
|
| 36 |
# ------------ criando vs -----------------
|
|
|
|
| 65 |
# Carregue o conteúdo da página web como documentos LangChain
|
| 66 |
loader = WebBaseLoader(web_paths=url_list)
|
| 67 |
docs = loader.load()
|
| 68 |
+
#print(f"Total de páginas carregadas: {len(docs)}")
|
| 69 |
|
| 70 |
text_splitter = CharacterTextSplitter(chunk_size=1500, chunk_overlap=100)
|
| 71 |
split_docs = text_splitter.split_documents(docs)
|
| 72 |
+
embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL)
|
|
|
|
| 73 |
vector_store = FAISS.from_documents(split_docs, embeddings)
|
|
|
|
| 74 |
os.makedirs(VS_BASE, exist_ok=True)
|
| 75 |
vector_store.save_local(VS_BASE)
|
| 76 |
print(f"vs_base salva em {VS_BASE}")
|