MCP+DeepSeek-V3搭建miniManus开发实战
输入“/”快速插入内容
MCP+DeepSeek-V3搭建miniManus开发实战
MCP+DeepSeek-V3搭建miniManus开发实战
DeepSeek智能体开发实战
Part 3.miniManus开发实战
代码块
import os
import openai
import glob
import shutil
import numpy as np
import pandas as pd
import json
import io
import inspect
import requests
import re
import random
import string
import base64
from bs4 import BeautifulSoup
import dateutil.parser as parser
import tiktoken
from lxml import etree
import sys
sys.path.insert(0, '.\\functions\\untested functions')
sys.path.insert(0, '.\\functions\\tested functions')
•
谷歌搜索API入门介绍
和此前介绍过的其他应用的API类似，谷歌搜索也有API可以调用，也就是说，我们完全可以在本地代码环境中通过调用谷歌搜索API来完成具体问题的搜索。需要注意的是，目前为止，目前全球各大搜索引擎厂商中，只有谷歌开放了其API以供开发者使用，当然谷歌开放的谷歌搜索API并不是真正意义上调用Google.com搜索，而是让用户允许自行申请并创建一个谷歌搜索实例用于嵌入到自己的产品中，这个谷歌搜索实例和Google.com性能类似，但功能上存在一定的区别，比如用户自行申请的谷歌搜索实例在默认情况下不会存在商业推广广告，并且会根据申请用户的所在地区进行搜索结果的调整等。并且，为了能够更好的让用户使用谷歌搜索的某个实例，谷歌为每个实例提供了非常多可定制化的搜索选项，同时在调用这个实例方面，不仅可以使用API进行调用，谷歌更是为每个实例单独提供了域名和菜单式设置方法（可以通过某个网页完成设置），因此谷歌搜索API也被称为“可编程编程引擎（Programmable Search Engine）”，而每个可编程引擎的背后的API，则被称为Custom Search API，该API可以通过谷歌云进行申请使用。
•
借助爬虫爬取相关网站内容
当然，这里还有一点需要注意的是，搜索引擎API只能返回与搜索关键词最为匹配的网站连接，而要获取这些连接内容，则需要更进一步使用爬虫对这些网站内容进行爬取，因此本小节也将简单介绍下特定网站爬虫代码的编写方法。不过需要注意的是，并不是每个网站都允许被爬取内容，在使用爬虫时，必须严格按照网站的对应规则来进行操作。
•
特定领域的搜索和问答机器人
不过由此也不难看出，对相关网站的信息爬取的完整性和有效性，也将直接决定Chat模型接收到的文本质量好坏。因此在将搜索引擎接入Chat模型这个项目中，爬虫技术其实也会起到非常关键的作用。不过在课程的后半部分我们会介绍，如果是主要是围绕一些特定领域的技术问题进行问答（或者当前项目只用于获取某特定类型的信息），我们或许只需要限定在某个网站内进行搜索即可（谷歌搜索支持在某网站内进行搜索，例如知乎、sklearn官网等），而特定网站内的html格式趋于一致，对应的爬虫编写难度较低，更容易获取到高质量内容信息，从而获得高质量答案。因此Chat模型+谷歌搜索API的AI应用开发策略更加适合进行特定领域的问答机器人，例如课程中就将重点介绍将搜索范围限定在知乎内，然后获得高质量大模型技术知识搜索结果和问答的策略。而就特定领域的搜索和问答机器人来说，还有一个非常重要的应用方向，那就是围绕公司章程、制度、流程等内部信息的内网进行搜索和问答。不难发现，相比之下，Browsing with Bing能够顺利获取各类型不同网站的各类信息，会更适合进行通用问题的回答。不过也正是因为Browsing with Bing能够获取全网各类信息，也导致了其快速的下架。
二、将谷歌搜索API的获取和使用
1.Custom Search API的获取流程
•
启用谷歌搜索API
和Gmail API的获取类似，这里我们首先需要在谷歌云API库中搜索谷歌搜索API，并获取谷歌搜索API使用权限，然后查阅相关使用说明文档，并最终在代码环境中实现谷歌搜索。这里哦我们首先登录谷歌云Google Cloud：https://console.cloud.google.com/ 。还是在之前创建的Project内点击API和服务进行谷歌搜索API搜索：