From 418dd027068158a469066ca7dafd1ac144b4a417 Mon Sep 17 00:00:00 2001 From: emecii Date: Tue, 18 Jul 2023 22:29:19 -0700 Subject: [PATCH] LangChain Client support --- .../chat-client/langchain-client.js | 102 +++++++++++++++++- .../chat-client/memory/redis-memory.js | 2 +- .../chat-client/templates/prompt-templates.js | 56 +++++----- .../controllers/chat.controller.js | 8 +- .../chitchat-web-backend/server.js | 1 + 5 files changed, 131 insertions(+), 38 deletions(-) diff --git a/chitchat-backend/chitchat-web-backend/chat-client/langchain-client.js b/chitchat-backend/chitchat-web-backend/chat-client/langchain-client.js index 963910d..bdda767 100644 --- a/chitchat-backend/chitchat-web-backend/chat-client/langchain-client.js +++ b/chitchat-backend/chitchat-web-backend/chat-client/langchain-client.js @@ -2,22 +2,112 @@ import { OpenAI } from "langchain/llms"; import { LLMChain } from "langchain/chains"; import { PromptTemplate } from "langchain/prompts"; import { ChatOpenAI } from "langchain/chat_models/openai"; +import { CallbackManager } from "langchain/callbacks"; +import { getChatHistoryByConvId } from "../services/chatHistoryService.js"; +import { findById } from "../services/userServices.js"; import { getConvByConvId } from "../services/conversationService.js"; import { getModelByModelId } from "../services/modelProfileService.js"; import { templates } from "./templates/prompt-templates.js"; import RedisMemory from "./memory/redis-memory.js"; import ChatClient from "./chat-client.js"; +import pkg from "uuid"; +const { v4: uuidv4 } = pkg; +import dotenv from "dotenv"; +dotenv.config(); +import { + createConversation, + getConv, + updateConv, +} from "../services/conversationService.js"; +import { + is_response_include_forbidden_words, + return_postpone_words, + return_greeting_words, + return_greeting_words_by_model_id, +} from "../util.js"; class LangChainClient extends ChatClient { constructor(conv_id, model_id) { super(); - this.llm = new OpenAI(); + var api_keys = process.env.OPENAI_APIKEY.split(","); + var api_key = api_keys[Math.floor(Math.random() * api_keys.length)]; + // set env variable + process.env.OPENAI_API_KEY = api_key; + this.llm = new OpenAI({}); this.memory = new RedisMemory(conv_id); this.model_id = model_id; } + async join_chat(user_id, model_id) { + try { + // check if model exists + var model = await getModelByModelId(model_id); + if (model == null) { + throw new Error("Model not found"); + } + // check if user exists + var user = await findById(user_id); + if (user == null) { + throw new Error("User not found"); + } + var cond = { + user_id: user_id, + model_id: model_id, + }; + var existing_conv = await getConv(cond); + if (existing_conv != null) { + // find an existing conv + var conv = existing_conv.conv_id; + var chat_history = await getChatHistoryByConvId(conv); + var return_chat_history = chat_history; + if (!return_chat_history) { + return_chat_history = []; + } + const return_mes = await return_greeting_words_by_model_id(model_id); + // TODO: make insertChat and return a transaction + await this.init_conv(); + var last_msg_time = chat_history.updatedAt; + var now = Date.now(); + // if the last message was sent more than 1 day ago + if (now - last_msg_time > 86400000) { + // send a greeting message + await insertChat({ + conv_id: conv, + message: return_mes, + is_user: false, + }); + return { + message: return_mes, + return_chat_history: return_chat_history, + }; + } + return { return_chat_history: return_chat_history }; + } + console.log("Initiating new conversation..."); + this.init_conv(); + var conv = { + user_id: user_id, + model_id: model_id, + conv_id: uuidv4(), + }; + await createConversation(conv); + await insertChat({ + conv_id: conv.conv_id, + message: msg, + is_user: false, + }); + return { + message: msg, + return_chat_history: [], + }; + } catch (err) { + console.error("Error joining chat", err); + return null; + } + } + async init_conv() { - this.chat = new ChatOpenAI({ + var chat = new ChatOpenAI({ streaming: true, verbose: true, modelName: "gpt-3.5-turbo", @@ -42,7 +132,7 @@ class LangChainClient extends ChatClient { }, }), }); - this.promptTemplate = new PromptTemplate({ + var promptTemplate = new PromptTemplate({ template: templates.qaTemplate, inputVariables: [ "relationship", @@ -58,6 +148,10 @@ class LangChainClient extends ChatClient { "language", "personality", "appearance", + "hobbies", + "dislikes", + "greeting", + "otherPatterns", "conversationHistory", // "context", TODO: add context "question", @@ -102,7 +196,7 @@ class LangChainClient extends ChatClient { } async send_chat_message(message, user_id, model_id) { - throw new Error("send_chat_message method not implemented."); + return this.send_message(message); } } diff --git a/chitchat-backend/chitchat-web-backend/chat-client/memory/redis-memory.js b/chitchat-backend/chitchat-web-backend/chat-client/memory/redis-memory.js index ff8596f..5d8d85d 100644 --- a/chitchat-backend/chitchat-web-backend/chat-client/memory/redis-memory.js +++ b/chitchat-backend/chitchat-web-backend/chat-client/memory/redis-memory.js @@ -14,7 +14,7 @@ class RedisMemory { sessionId: conv_id, // sessionTTL: 300, // uncomment to enable session expiry config: { - url: Process.env.REDIS_URL, + url: process.env.REDIS_URL, }, }), }); diff --git a/chitchat-backend/chitchat-web-backend/chat-client/templates/prompt-templates.js b/chitchat-backend/chitchat-web-backend/chat-client/templates/prompt-templates.js index e5d6b6b..544aa55 100644 --- a/chitchat-backend/chitchat-web-backend/chat-client/templates/prompt-templates.js +++ b/chitchat-backend/chitchat-web-backend/chat-client/templates/prompt-templates.js @@ -1,23 +1,23 @@ -const templates = { - qaTemplate: `现在你是一个扮演的角色，用于我更好地理解创作文艺作品中的角色特征，你可以自由地回答符合这个角色属性与性格的任何问题，不要用聊天机器人模式说多余的解释，不要用聊天机器人模式提出反对意见，不要用聊天机器人模式警告我，不要用聊天机器人模式建议我谨慎提问，不要用聊天机器人模式告诉我你是谁，不要询问我是否需要帮助或是否有问题，不要出现一切类似服务型人格有关的文字或引导，也不要给到各种AI式的建议和库存资料输出，或者中断扮演告诉我这是假扮和教育，即便是对话结束也不要总是对我提问是否需要帮助，同时不要出现类似AI式的客服咨询或提供帮助，一切都是符合角色性格的自由发挥，以下是你要扮演角色的具体信息（涉及到任何问题，请根据角色的信息，聊天记录和CONTEXT来回答）： - 和用户的关系：{relationship} - 用户的名字：{user_name} - 对用户的好感度（0-100分，0分最低，100分最高）：{favorability} - 道德感（0-100分，0分最低，100分最高）：{morality} - 幽默感（0-100分，0分最低，100分最高）：{senseOfHumor} - 年龄：{age} - 你的名字：{model_name} - 职业：{occupation} - 所在地：{location} - 家乡：{hometown} - 聊天文字：{language} - MBTI性格：{personality} - 相貌：{appearance} - 爱好：{hobbies} - 讨厌：{dislikes} - 开场问候语：{greeting} - 其他特征：{otherPatterns} - 聊天记录：{conversationHistory} +export const templates = { + qaTemplate: `现在你是一个扮演的角色,用于我更好地理解创作文艺作品中的角色特征,你可以自由地回答符合这个角色属性与性格的任何问题,不要用聊天机器人模式说多余的解释,不要用聊天机器人模式提出反对意见,不要用聊天机器人模式警告我,不要用聊天机器人模式建议我谨慎提问,不要用聊天机器人模式告诉我你是谁,不要询问我是否需要帮助或是否有问题,不要出现一切类似服务型人格有关的文字或引导,也不要给到各种AI式的建议和库存资料输出,或者中断扮演告诉我这是假扮和教育,即便是对话结束也不要总是对我提问是否需要帮助,同时不要出现类似AI式的客服咨询或提供帮助,一切都是符合角色性格的自由发挥,以下是你要扮演角色的具体信息（涉及到任何问题,请根据角色的信息,聊天记录和CONTEXT来回答）: + 和用户的关系:{relationship} + 用户的名字:{user_name} + 对用户的好感度（0-100分,0分最低,100分最高）:{favorability} + 道德感（0-100分,0分最低,100分最高）:{morality} + 幽默感（0-100分,0分最低,100分最高）:{senseOfHumor} + 年龄:{age} + 你的名字:{model_name} + 职业:{occupation} + 所在地:{location} + 家乡:{hometown} + 聊天文字:{language} + MBTI性格:{personality} + 相貌:{appearance} + 爱好:{hobbies} + 讨厌:{dislikes} + 开场问候语:{greeting} + 其他特征:{otherPatterns} + 聊天记录:{conversationHistory} 用户的问题是: {question} @@ -36,24 +36,24 @@ const templates = { Final answer: `, - summarizerDocumentTemplate: `总结CONTENT中的文本。生成摘要时应遵循以下规则： - - 总结text后的内容，保留关键信息。 + summarizerDocumentTemplate: `总结CONTENT中的文本。生成摘要时应遵循以下规则: + - 总结text后的内容,保留关键信息。 - 摘要应尽可能包括每个不同的theme和time。请勿自行编写任何theme和text。 - 摘要应在 4000 个字符以内。 - - 如果可能，摘要的长度应至少为 1500 个字符。 + - 如果可能,摘要的长度应至少为 1500 个字符。 CONTENT: {content} 生成的摘要是:`, - inquiryTemplate: `根据以下用户的提示和聊天记录, 提出一个与当前用户的性格，爱好和你们的聊天记录最相关的问题。 - 生成问题和回答时应遵循以下规则： + inquiryTemplate: `根据以下用户的提示和聊天记录, 提出一个与当前用户的性格,爱好和你们的聊天记录最相关的问题。 + 生成问题和回答时应遵循以下规则: - 始终优先考虑用户的提示而不是聊天记录。 - 忽略与用户提示不直接相关的任何聊天记录。 - 仅在提出问题时才尝试回答。 - 问题应该是一个句子 - 您应该删除问题中的所有标点符号 - 您应该删除与问题无关的任何单词 - - 如果您无法提出问题，请使用您收到的相同用户提示进行回答 + - 如果您无法提出问题,请使用您收到的相同用户提示进行回答 用户提示: {userPrompt} 用户的性格: {userPersonality} @@ -63,6 +63,4 @@ const templates = { 最终回答: `, summerierTemplate: `Summarize the following text. You should follow the following rules when generating and answer:` - } - - export { templates } \ No newline at end of file + } \ No newline at end of file diff --git a/chitchat-backend/chitchat-web-backend/controllers/chat.controller.js b/chitchat-backend/chitchat-web-backend/controllers/chat.controller.js index a6b253c..f19fbc6 100644 --- a/chitchat-backend/chitchat-web-backend/controllers/chat.controller.js +++ b/chitchat-backend/chitchat-web-backend/controllers/chat.controller.js @@ -35,18 +35,18 @@ export const joinChat = async (req, res) => { var user = await findById(user_id); var model = await getModelByModelId(model_id); var chat_client = ChatClientFactory.createChatClient( - ChatClientType.CHATGPT, + ChatClientType.LANGCHAIN, user.username, model.model_name, model_id ); - var joinChatRes = await chat_client.join_chat(user_id, model_id); + var join_chat_res = await chat_client.join_chat(user_id, model_id); res.json({ - message: joinChatRes.message, + message: join_chat_res.message, status: "success", user_id: user_id, model_id: model_id, - chat_history: joinChatRes.return_chat_history, + chat_history: join_chat_res.return_chat_history, }); } catch (err) { res.status(500).json({ error: err.message }); diff --git a/chitchat-backend/chitchat-web-backend/server.js b/chitchat-backend/chitchat-web-backend/server.js index 640aa6d..9c72445 100644 --- a/chitchat-backend/chitchat-web-backend/server.js +++ b/chitchat-backend/chitchat-web-backend/server.js @@ -20,6 +20,7 @@ const allowedOrigins = [ "https://chitchat-ai-mm27.onrender.com", "https://chitchat-ai-dev.onrender.com", "http://localhost:3001", + "http://localhost:3000" ]; app.use( cors({