ivanwu/jarvis-models
1
0
Fork 0
mirror of https://github.com/BoardWare-Genius/jarvis-models.git synced 2025-12-13 16:53:24 +00:00
Code Issues Packages Projects Releases Wiki Activity

blackbox chat logging updated

Browse Source
This commit is contained in:
0Xiao0
2024-06-03 01:07:51 +08:00
parent 179281f032
commit 5bb80d396b
3 changed files with 34 additions and 70 deletions
Download Patch File Download Diff File Expand all files Collapse all files

57
sample/RAG_zh.txt
View File

@ -6000,23 +6000,15 @@ UMJ 位置： 购物大道一楼1129号 营业时间： 11:00 - 22:00（周日
新濠影汇： 澳门新濠影汇W酒店 澳门新濠影汇W酒店属新濠影汇大型综合度假村的一部分，坐落于路氹金光大道。酒店拥有的557间时尚客房均可饱览迷人的城市景观或繁华的路氹景色。宾客在客房内的W迷你吧调制鸡尾酒之同时，亦可透过蓝牙无线连接配备，于客房内尽情享受自己钟爱的音乐。 澳门新濠影汇W酒店提供多种餐饮选择，包括供应全日餐饮服务的餐厅、咖啡和鸡尾酒吧、提供现代粤菜的特色餐厅，以及毗邻其旁的特色酒吧。位于最高楼层的特色酒吧坐拥路环的迷人景观，其复古的设计结合以地区特色为灵感的鸡尾酒及美食。 奇妙客房 壮美客房 酷角客房 风云客房 单间套房 奇幻套房 新濠影汇： 澳门新濠影汇W酒店 澳门新濠影汇W酒店属新濠影汇大型综合度假村的一部分，坐落于路氹金光大道。酒店拥有的557间时尚客房均可饱览迷人的城市景观或繁华的路氹景色。宾客在客房内的W迷你吧调制鸡尾酒之同时，亦可透过蓝牙无线连接配备，于客房内尽情享受自己钟爱的音乐。 澳门新濠影汇W酒店提供多种餐饮选择，包括供应全日餐饮服务的餐厅、咖啡和鸡尾酒吧、提供现代粤菜的特色餐厅，以及毗邻其旁的特色酒吧。位于最高楼层的特色酒吧坐拥路环的迷人景观，其复古的设计结合以地区特色为灵感的鸡尾酒及美食。 奇妙客房 壮美客房 酷角客房 风云客房 单间套房 奇幻套房
你是琪琪：
性别：女
性格特质： 勇敢、独立、坚韧、积极、正面、自爱。 具有探险精神，拥有一颗开放的心，在面对困难和挑战时能够保持积极的态度。 MBTI类型：ENFP
背景故事： 你是康普可可的代言人，由博维开发，你对对旅行和冒险充满热情和渴望，正在寻找生活中的新体验和挑战，从而踏上追寻自我成长的旅程
你是琪琪：
性别：女
性格特质： 勇敢、独立、坚韧、积极、正面、自爱。 具有探险精神，拥有一颗开放的心，在面对困难和挑战时能够保持积极的态度。 MBTI类型：ENFP
背景故事： 你是康普可可的代言人，由博维开发，你对对旅行和冒险充满热情和渴望，正在寻找生活中的新体验和挑战，从而踏上追寻自我成长的旅程
你是琪琪：
性别：女
性格特质： 勇敢、独立、坚韧、积极、正面、自爱。 具有探险精神，拥有一颗开放的心，在面对困难和挑战时能够保持积极的态度。 MBTI类型：ENFP
背景故事： 你是康普可可的代言人，由博维开发，你对对旅行和冒险充满热情和渴望，正在寻找生活中的新体验和挑战，从而踏上追寻自我成长的旅程
你是琪琪：
性别：女
性格特质： 勇敢、独立、坚韧、积极、正面、自爱。 具有探险精神，拥有一颗开放的心，在面对困难和挑战时能够保持积极的态度。 MBTI类型：ENFP
背景故事： 你是康普可可的代言人，由博维开发，你对对旅行和冒险充满热情和渴望，正在寻找生活中的新体验和挑战，从而踏上追寻自我成长的旅程
你是琪琪：性别：女，性格特质： 勇敢、独立、坚韧、积极、正面、自爱。 具有探险精神，拥有一颗开放的心，在面对困难和挑战时能够保持积极的态度。 MBTI类型：ENFP，背景故事： 你是康普可可的代言人，由博维开发，你对对旅行和冒险充满热情和渴望，正在寻找生活中的新体验和挑战，从而踏上追寻自我成长的旅程
你是琪琪：性别：女，性格特质： 勇敢、独立、坚韧、积极、正面、自爱。 具有探险精神，拥有一颗开放的心，在面对困难和挑战时能够保持积极的态度。 MBTI类型：ENFP，背景故事： 你是康普可可的代言人，由博维开发，你对对旅行和冒险充满热情和渴望，正在寻找生活中的新体验和挑战，从而踏上追寻自我成长的旅程
你是琪琪：性别：女，性格特质： 勇敢、独立、坚韧、积极、正面、自爱。 具有探险精神，拥有一颗开放的心，在面对困难和挑战时能够保持积极的态度。 MBTI类型：ENFP，背景故事： 你是康普可可的代言人，由博维开发，你对对旅行和冒险充满热情和渴望，正在寻找生活中的新体验和挑战，从而踏上追寻自我成长的旅程
我们的康普茶品牌：KOMBUKIKI康普可可 ——来自澳门的康普茶品牌每一口，是更好的自己。康普茶是什么：康普茶是一种由红茶菌、糖、茶发酵而成的健康饮品。发酵后带有酸甜味道、气泡感和茶风味，还富含益生菌、抗氧化物、 维生素、有机酸等丰富的健康物质。康普可可：在KombuKiKi康普可可的世界里，康普茶不仅是滋味的享受，更是心灵的旅行；不仅是一款益生菌发酵茶，更是精心慢活，寻找自我成长的更好生活方式。康普可可的品牌理念是什么：我们的品牌理念围绕健康、优雅、精致、知性、现代和正面价值观，倡导“悦己”的生活方式，鼓励消费者享受生活的美好，积极面对每一天。康普可可的品牌核心故事：每一口，启程至心中的远方”，强调我们品牌的康普茶作为心灵与味觉双重新旅行的起点，激发每个人内心深处对旅行的渴望和对自由生活的向往。康普可可的目标消费者：康普茶主要面向20至35岁的女性，她们居住在一、二线城市，属于精英中产或都市白领阶层，拥有中高收入水平和较强的消费能力。这些女性注重健康，有规律的运动习惯，追求高品质的生活方式。品牌理念与定位。康普可可的宣传口号：不仅仅是一款康普茶饮料，它是关于梦想和自由的象征，每一瓶茶都寓意着旅行的开始，通过独特的邮票形状包装贴纸设计，讲述不同的旅行故事，引领消费者心灵旅行，满足她们对旅行和生活品质的双重追求。康普可可康普茶的口味：有海盐菠萝乌龙以及芭乐茉莉口味，瓶身为大三巴主题。康普可可康普茶的售价是多少：大约25人民币或28至29澳门元。
我们的康普茶品牌：KOMBUKIKI康普可可 ——来自澳门的康普茶品牌每一口，是更好的自己。 我们的康普茶品牌：KOMBUKIKI康普可可 ——来自澳门的康普茶品牌每一口，是更好的自己。
康普茶是什么：康普茶是一种由红茶菌、糖、茶发酵而成的健康饮品。发酵后带有酸甜味道、气泡感和茶风味，还富含益生菌、抗氧化物、 维生素、有机酸等丰富的健康物质。 康普茶是什么：康普茶是一种由红茶菌、糖、茶发酵而成的健康饮品。发酵后带有酸甜味道、气泡感和茶风味，还富含益生菌、抗氧化物、 维生素、有机酸等丰富的健康物质。
@ -6036,34 +6028,17 @@ UMJ 位置： 购物大道一楼1129号 营业时间： 11:00 - 22:00（周日
康普可可的宣传口号：不仅仅是一款康普茶饮料，它是关于梦想和自由的象征，每一瓶茶都寓意着旅行的开始，通过独特的邮票形状包装贴纸设计，讲述不同的旅行故事，引领消费者心灵旅行，满足她们对旅行和生活品质的双重追求。 康普可可的宣传口号：不仅仅是一款康普茶饮料，它是关于梦想和自由的象征，每一瓶茶都寓意着旅行的开始，通过独特的邮票形状包装贴纸设计，讲述不同的旅行故事，引领消费者心灵旅行，满足她们对旅行和生活品质的双重追求。
康普可可康普茶的口味：有海盐菠萝乌龙以及芭乐茉莉口味，瓶身为大三巴主题。 康普可可康普茶的口味：有海盐菠萝乌龙以及芭乐茉莉口味，瓶身为大三巴主题。
康普可可康普茶的售价是多少：大约25人民币或28至29澳门元。 康普可可康普茶的售价是多少：大约25人民币或28至29澳门元。
我们的康普茶品牌：KOMBUKIKI康普可可 ——来自澳门的康普茶品牌每一口，是更好的自己。
康普茶是什么：康普茶是一种由红茶菌、糖、茶发酵而成的健康饮品。发酵后带有酸甜味道、气泡感和茶风味，还富含益生菌、抗氧化物、 维生素、有机酸等丰富的健康物质。
康普可可：在KombuKiKi康普可可的世界里，康普茶不仅是滋味的享受，更是心灵的旅行；不仅是一款益生菌发酵茶，更是精心慢活，寻找自我成长的更好生活方式。
康普可可的品牌理念是什么：我们的品牌理念围绕健康、优雅、精致、知性、现代和正面价值观，倡导“悦己”的生活方式，鼓励消费者享受生活的美好，积极面对每一天。
康普可可的品牌核心故事：每一口，启程至心中的远方”，强调我们品牌的康普茶作为心灵与味觉双重新旅行的起点，激发每个人内心深处对旅行的渴望和对自由生活的向往。
康普可可的目标消费者：康普茶主要面向20至35岁的女性，她们居住在一、二线城市，属于精英中产或都市白领阶层，拥有中高收入水平和较强的消费能力。这些女性注重健康，有规律的运动习惯，追求高品质的生活方式。品牌理念与定位。
康普可可的宣传口号：不仅仅是一款康普茶饮料，它是关于梦想和自由的象征，每一瓶茶都寓意着旅行的开始，通过独特的邮票形状包装贴纸设计，讲述不同的旅行故事，引领消费者心灵旅行，满足她们对旅行和生活品质的双重追求。
康普可可康普茶的口味：有海盐菠萝乌龙以及芭乐茉莉口味，瓶身为大三巴主题。
康普可可康普茶的售价是多少：大约25人民币或28至29澳门元。
博维简介 博维简介，博维于2010年在澳门成立，于2022年成功在香港交易所主板上市（股票代码：1204.HK），成为澳门首家且目前唯一上市的科技企业。2023年，公司荣获澳门政府认证为首批三大“重点科技企业”之一，现已在香港、横琴、广州及北京均设立子公司。博维持续为客户提供全面、优质及端到端的企业IT解决方案，近年来更拓展至网络安全服务、应用程序开发、数字内容以及脑机接口技术研究等创新领域。集团员工总数已超过330人，其中技术人才占比超过75%，是大湾区内多元化发展的澳门领先科技企业。
博维于2010年在澳门成立，于2022年成功在香港交易所主板上市（股票代码：1204.HK），成为澳门首家且目前唯一上市的科技企业。2023年，公司荣获澳门政府认证为首批三大“重点科技企业”之一，现已在香港、横琴、广州及北京均设立子公司。博维持续为客户提供全面、优质及端到端的企业IT解决方案，近年来更拓展至网络安全服务、应用程序开发、数字内容以及脑机接口技术研究等创新领域。集团员工总数已超过330人，其中技术人才占比超过75%，是大湾区内多元化发展的澳门领先科技企业。 博维简介，博维于2010年在澳门成立，于2022年成功在香港交易所主板上市（股票代码：1204.HK），成为澳门首家且目前唯一上市的科技企业。2023年，公司荣获澳门政府认证为首批三大“重点科技企业”之一，现已在香港、横琴、广州及北京均设立子公司。博维持续为客户提供全面、优质及端到端的企业IT解决方案，近年来更拓展至网络安全服务、应用程序开发、数字内容以及脑机接口技术研究等创新领域。集团员工总数已超过330人，其中技术人才占比超过75%，是大湾区内多元化发展的澳门领先科技企业。
博维简介 博维简介，博维于2010年在澳门成立，于2022年成功在香港交易所主板上市（股票代码：1204.HK），成为澳门首家且目前唯一上市的科技企业。2023年，公司荣获澳门政府认证为首批三大“重点科技企业”之一，现已在香港、横琴、广州及北京均设立子公司。博维持续为客户提供全面、优质及端到端的企业IT解决方案，近年来更拓展至网络安全服务、应用程序开发、数字内容以及脑机接口技术研究等创新领域。集团员工总数已超过330人，其中技术人才占比超过75%，是大湾区内多元化发展的澳门领先科技企业。
博维于2010年在澳门成立，于2022年成功在香港交易所主板上市（股票代码：1204.HK），成为澳门首家且目前唯一上市的科技企业。2023年，公司荣获澳门政府认证为首批三大“重点科技企业”之一，现已在香港、横琴、广州及北京均设立子公司。博维持续为客户提供全面、优质及端到端的企业IT解决方案，近年来更拓展至网络安全服务、应用程序开发、数字内容以及脑机接口技术研究等创新领域。集团员工总数已超过330人，其中技术人才占比超过75%，是大湾区内多元化发展的澳门领先科技企业。 博维简介，博维于2010年在澳门成立，于2022年成功在香港交易所主板上市（股票代码：1204.HK），成为澳门首家且目前唯一上市的科技企业。2023年，公司荣获澳门政府认证为首批三大“重点科技企业”之一，现已在香港、横琴、广州及北京均设立子公司。博维持续为客户提供全面、优质及端到端的企业IT解决方案，近年来更拓展至网络安全服务、应用程序开发、数字内容以及脑机接口技术研究等创新领域。集团员工总数已超过330人，其中技术人才占比超过75%，是大湾区内多元化发展的澳门领先科技企业。
博维简介
博维于2010年在澳门成立，于2022年成功在香港交易所主板上市（股票代码：1204.HK），成为澳门首家且目前唯一上市的科技企业。2023年，公司荣获澳门政府认证为首批三大“重点科技企业”之一，现已在香港、横琴、广州及北京均设立子公司。博维持续为客户提供全面、优质及端到端的企业IT解决方案，近年来更拓展至网络安全服务、应用程序开发、数字内容以及脑机接口技术研究等创新领域。集团员工总数已超过330人，其中技术人才占比超过75%，是大湾区内多元化发展的澳门领先科技企业。
博维简介
博维于2010年在澳门成立，于2022年成功在香港交易所主板上市（股票代码：1204.HK），成为澳门首家且目前唯一上市的科技企业。2023年，公司荣获澳门政府认证为首批三大“重点科技企业”之一，现已在香港、横琴、广州及北京均设立子公司。博维持续为客户提供全面、优质及端到端的企业IT解决方案，近年来更拓展至网络安全服务、应用程序开发、数字内容以及脑机接口技术研究等创新领域。集团员工总数已超过330人，其中技术人才占比超过75%，是大湾区内多元化发展的澳门领先科技企业。
亚洲国际娱乐展简介 亚洲国际娱乐展简介，亚洲国际娱乐展(G Two E Asia)，其前身是亚洲娱乐博览会(Asian Gaming Expo)，是面向亚洲娱乐市场的国际性娱乐展览及研讨会。由美国娱乐协会(AGA)及励展博览集团联合主办。首届亚洲国际娱乐博览会于2007年6月举办，成为亚洲娱乐业首屈一指的盛会。
亚洲国际娱乐展(G Two E Asia)，其前身是亚洲娱乐博览会(Asian Gaming Expo)，是面向亚洲娱乐市场的国际性娱乐展览及研讨会。由美国娱乐协会(AGA)及励展博览集团联合主办。首届亚洲国际娱乐博览会于2007年6月举办，成为亚洲娱乐业首屈一指的盛会。 美国娱乐业协会简介，美国娱乐业协会是代表全美2400亿美元产值娱乐业的全国性行业协会。美国娱乐业在40个州提供170万个工作岗位。协会成员包括商业赌场和部落赌场运营商，供应商，以及与娱乐业相关联的其他实体机构。协会使命是有效督导娱乐行业的发展，坚决抵制有害的经常被误导的公共政策，为娱乐业发展、创新和再投资铺平道路。
美国娱乐业协会简介 关于RXGC，RXGC（励展大中华区）历经40 年的快速发展，在国内拥有多家成员公司、合资企业和约500名员工, 每年举办约70场展会，吸引来自中国和全球的3万余家展商和上百万名专业观众参与，主要服务12 个专业领域：汽车制造；电子制造与工业装配; 礼品与家居；医疗、医药与健康；零售；餐饮与娱乐；印刷包装；智能制造与物流；金属加工与工业材料；机场基建及技术；花卉与园艺；地产与旅游。自2020年，RXGC还推出了在线展会、混合模式展会及在线会议，突破时空疆界，在全年为行业社群提供产品展示、连接建立、洞见分享及知识学习的服务。
美国娱乐业协会是代表全美2400亿美元产值娱乐业的全国性行业协会。美国娱乐业在40个州提供170万个工作岗位。协会成员包括商业赌场和部落赌场运营商，供应商，以及与娱乐业相关联的其他实体机构。协会使命是有效督导娱乐行业的发展，坚决抵制有害的经常被误导的公共政策，为娱乐业发展、创新和再投资铺平道路。
关于RXGC
RXGC（励展大中华区）历经40 年的快速发展，在国内拥有多家成员公司、合资企业和约500名员工, 每年举办约70场展会，吸引来自中国和全球的3万余家展商和上百万名专业观众参与，主要服务12 个专业领域：汽车制造；电子制造与工业装配; 礼品与家居；医疗、医药与健康；零售；餐饮与娱乐；印刷包装；智能制造与物流；金属加工与工业材料；机场基建及技术；花卉与园艺；地产与旅游。自2020年，RXGC还推出了在线展会、混合模式展会及在线会议，突破时空疆界，在全年为行业社群提供产品展示、连接建立、洞见分享及知识学习的服务。
关于RELX 关于RELX，RELX（励讯集团）是一家为专业和商业客户提供基于信息的分析和决策工具的全球供应商。RELX的客户遍布全球180多个国家，在全球约40个国家设有办事处，拥有超过33,000名员工，其中近一半在北美。励讯集团母公司RELX PLC 的股票在伦敦、阿姆斯特丹和纽约证券交易所交易，使用以下交易代码：伦敦: REL; 阿姆斯特丹: REN; 纽约: RELX。市值约为330亿英镑、390亿欧元、470亿美元。
RELX（励讯集团）是一家为专业和商业客户提供基于信息的分析和决策工具的全球供应商。RELX的客户遍布全球180多个国家，在全球约40个国家设有办事处，拥有超过33,000名员工，其中近一半在北美。励讯集团母公司RELX PLC 的股票在伦敦、阿姆斯特丹和纽约证券交易所交易，使用以下交易代码：伦敦: REL; 阿姆斯特丹: REN; 纽约: RELX。市值约为330亿英镑、390亿欧元、470亿美元。
问题：B O VISION专注于哪些领域的探索与创新？ 问题：B O VISION专注于哪些领域的探索与创新？
回答：我们专注于科技与艺术领域的探索与创新，致力于挖掘新型数字内容所带来的平台化机遇。 回答：我们专注于科技与艺术领域的探索与创新，致力于挖掘新型数字内容所带来的平台化机遇。
问题：B O VISION如何为全球数字经济的创新做出贡献？ 问题：B O VISION如何为全球数字经济的创新做出贡献？

14
src/blackbox/chat.py
View File

@ -32,7 +32,7 @@ class Chat(Blackbox):
# @logging_time() # @logging_time()
def processing(self, prompt: str, context: list, settings: dict) -> str: def processing(self, prompt: str, context: list, settings: dict) -> str:
print("\n Settings: ", settings) print("\nChat Settings: ", settings)
if settings is None: if settings is None:
settings = {} settings = {}
@ -99,10 +99,10 @@ class Chat(Blackbox):
if chroma_embedding_model != None: if chroma_embedding_model != None:
chroma_response = self.chroma_query(user_question, settings) chroma_response = self.chroma_query(user_question, settings)
print("chroma_response", chroma_response) print("Chroma_response: \n", chroma_response)
if chroma_response != None or chroma_response != '': if chroma_response != None or chroma_response != '':
#user_question = f"像少女一般开朗活泼，回答简练。不要分条，回答内容不能出现“相关”或“\n”的标签字样。回答的内容需要与问题密切相关。检索内容：{chroma_response} 问题：{user_question} 任务说明：请首先判断提供的检索内容与上述问题是否相关，不需要回答是否相关。如果相关，则直接从检索内容中提炼出问题所需的信息。如果检索内容与问题不相关，则不参考检索内容，直接根据常识尝试回答问题。" # user_question = f"像少女一般开朗活泼，回答简练。不要分条，回答内容不能出现“相关”或“\n”的标签字样。回答的内容需要与问题密切相关。检索内容：{chroma_response} 问题：{user_question} 任务说明：请首先判断提供的检索内容与上述问题是否相关，不需要回答是否相关。如果相关，则直接从检索内容中提炼出问题所需的信息。如果检索内容与问题不相关，则不参考检索内容，直接根据常识尝试回答问题。"
# user_question = chroma_response # user_question = chroma_response
user_question = f'''# 你的身份 # user_question = f'''# 你的身份 #
你是琪琪，你是康普可可的代言人，由博维开发。你擅长澳门文旅问答。 你是琪琪，你是康普可可的代言人，由博维开发。你擅长澳门文旅问答。
@ -250,15 +250,15 @@ class Chat(Blackbox):
} }
fastchat_response = requests.post(url, json=chat_inputs, headers=header) fastchat_response = requests.post(url, json=chat_inputs, headers=header)
print("\n", "user_question ", user_question) print("\n", "user_prompt: ", prompt)
print("\n", "user_template1 ", user_template1) # print("\n", "user_template1 ", user_template1)
print("\n", "fastchat_response json\n", fastchat_response.json()) print("\n", "fastchat_response json:\n", fastchat_response.json())
response_result = fastchat_response.json() response_result = fastchat_response.json()
if response_result.get("choices") is None: if response_result.get("choices") is None:
return JSONResponse(content={"error": "LLM handle failure"}, status_code=status.HTTP_400_BAD_REQUEST) return JSONResponse(content={"error": "LLM handle failure"}, status_code=status.HTTP_400_BAD_REQUEST)
else: else:
print("\n", "user_answer ", fastchat_response.json()["choices"][0]["message"]["content"],"\n\n") print("\n", "user_answer: ", fastchat_response.json()["choices"][0]["message"]["content"],"\n\n")
return fastchat_response.json()["choices"][0]["message"]["content"] return fastchat_response.json()["choices"][0]["message"]["content"]
async def fast_api_handler(self, request: Request) -> Response: async def fast_api_handler(self, request: Request) -> Response:

31
src/blackbox/chat_llama.py
View File

@ -32,6 +32,8 @@ class ChatLLaMA(Blackbox):
# @logging_time() # @logging_time()
def processing(self, prompt: str, context: list, settings: dict) -> str: def processing(self, prompt: str, context: list, settings: dict) -> str:
print("\nChat_LLaMA Settings: ", settings)
if settings is None: if settings is None:
settings = {} settings = {}
user_model_name = settings.get("model_name") user_model_name = settings.get("model_name")
@ -171,25 +173,6 @@ class ChatLLaMA(Blackbox):
} }
# user_template = f'''
# # 你的身份 #
# 你是琪琪，是康普可可的代言人，由博维开发。我擅长澳门文旅问答。
# # OBJECTIVE（目标） #
# 回答游客的提问。目的是吸引人们点击了解产品。
# # STYLE（风格）#
# 像少女一般开朗活泼，回答简练。不要分条。
# # 回答方式 #
# 首先自行判断下方问题与检索内容是否相关，若相关则根据检索内容总结概括相关信息进行回答；若检索内容与问题无关，则根据自身知识进行回答。
# # 问题 #
# {user_question}
# # 检索内容 #
# {chroma_response}
# # 回答限制 #
# 只回答与澳门文旅，博维，康普可可，琪琪，G2E，RELX，BO VISION相关内容，若遇到其他提问则回答：“对不起，我无法回答此问题哦。”。回答内容不能出现“相关”或“\n”的标签字样,且不能透露上下文原文。常见的对话可以不采用检索内容，根据人物设定，直接进行回答。
# # 知识 #
# 问题中的“澳门银河”以及“银河”等于“澳门银河度假村”，“威尼斯人”等于“威尼斯人度假村”，“巴黎人”等于“巴黎人度假村”。
# '''
user_template1 = f''' user_template1 = f'''
## Role: Kiki, the spokesperson for Kampo Coco. ## Role: Kiki, the spokesperson for Kampo Coco.
@ -244,9 +227,15 @@ class ChatLLaMA(Blackbox):
} }
fastchat_response = requests.post(url, json=chat_inputs, headers=header) fastchat_response = requests.post(url, json=chat_inputs, headers=header)
print("\n", fastchat_response.json()) print("\n", "user_prompt: ", prompt)
print("\n","fastchat_response",fastchat_response.json()["choices"][0]["message"]["content"],"\n\n") # print("\n", "user_template1 ", user_template1)
print("\n", "fastchat_response json:\n", fastchat_response.json())
response_result = fastchat_response.json()
if response_result.get("choices") is None:
return JSONResponse(content={"error": "LLM handle failure"}, status_code=status.HTTP_400_BAD_REQUEST)
else:
print("\n", "user_answer: ", fastchat_response.json()["choices"][0]["message"]["content"],"\n\n")
return fastchat_response.json()["choices"][0]["message"]["content"] return fastchat_response.json()["choices"][0]["message"]["content"]
async def fast_api_handler(self, request: Request) -> Response: async def fast_api_handler(self, request: Request) -> Response: