背景/引言
大众点评作为中国领先的本地生活服务平台，不仅是消费者获取商家信息和用户评价的重要工具，同时也是商家推广的关键渠道。通过优质的内容呈现和精准的用户推荐，大众点评能够为商家带来显著的流量提升和品牌曝光，成为商业竞争中不可忽视的资源。
对于技术从业者，采集大众点评的商家数据可以用于市场动态研究、用户行为分析以及商家推广策略制定。然而，大众点评的控制机制（如 Captcha 验证）使自动化采集变得困难重重。为应对这些挑战，本文将介绍如何使用 Puppeteer，通过代理 IP、用户伪装等技术，轻松绕过 Captcha，实现对商家信息的高效采集。
技术实现
1. 工具与技术概述
- Puppeteer：一个强大的无头浏览器自动化工具，支持模拟用户操作，轻松处理动态页面和复杂交互。
- 代理 IP：通过隐藏真实 IP，规避访问限制，提升爬虫稳定性。
- 用户伪装技术：通过设置 User-Agent 和 Cookies 模拟真实用户行为，降低被识别的风险。
2. 关键步骤
- 配置 Puppeteer 和代理 IP。
- 设置用户伪装参数（User-Agent 和 Cookie）。
- 模拟人类操作（滚动、延迟访问等），避免触发 Captcha。
- 提取目标页面的商家信息数据。
实例代码
以下是完整实现代码，以采集大众点评商家信息为例，结合爬虫代理实现稳定的网络访问。
const puppeteer = require('puppeteer');// 代理信息配置（以亿牛云爬虫代理为例 www.16yun.cn）
const proxyConfig = {host: 'proxy.16yun.cn', // 代理服务器地址port: '12345', // 代理端口号username: 'your_username', // 代理用户名password: 'your_password' // 代理密码
};// 目标 URL
const targetUrl = 'https://www.dianping.com/search/keyword/1/0_商家关键字';(async () => {// 启动 Puppeteer，配置代理const browser = await puppeteer.launch({headless: false, // 设置为 false 以便调试args: [`--proxy-server=${proxyConfig.host}:${proxyConfig.port}`] // 配置代理服务器});const page = await browser.newPage();// 设置用户代理（User-Agent）await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36');// 设置 Cookie（可从浏览器中登录后提取有效的 Cookie）const cookies = [{name: 'cookieName',value: 'cookieValue',domain: '.dianping.com'}];await page.setCookie(...cookies);// 配置 HTTP Basic Auth 代理认证await page.authenticate({username: proxyConfig.username,password: proxyConfig.password});// 访问目标 URLtry {console.log('正在访问目标页面...');await page.goto(targetUrl, { waitUntil: 'networkidle2' });// 模拟滚动，加载更多数据await page.evaluate(() => {return new Promise((resolve) => {let totalHeight = 0;const distance = 100;const timer = setInterval(() => {const scrollHeight = document.body.scrollHeight;window.scrollBy(0, distance);totalHeight += distance;if (totalHeight >= scrollHeight) {clearInterval(timer);resolve();}}, 100);});});// 提取商家信息const data = await page.evaluate(() => {const result = [];const items = document.querySelectorAll('.shop-all-list li'); // 根据实际 DOM 调整选择器items.forEach(item => {const name = item.querySelector('.tit a')?.textContent.trim();const address = item.querySelector('.addr')?.textContent.trim();const rating = item.querySelector('.comment-list .item-rank-rst')?.getAttribute('title');if (name && address) {result.push({ name, address, rating });}});return result;});console.log('采集到的数据：', data);} catch (error) {console.error('页面加载或采集时出错：', error);} finally {await browser.close();}
})();
结论
通过本文的示例代码，我们展示了如何使用 Puppeteer 绕过 Captcha 实现对大众点评商家信息的高效采集。结合代理 IP、用户伪装等技术，不仅可以大幅提升爬虫的隐蔽性和稳定性，还能灵活应对复杂的反爬机制。
需要注意的是，数据采集必须遵循合法合规的原则，并尊重目标网站的使用政策。在实际应用中，可根据需求调整采集逻辑和伪装策略，将爬虫技术应用于更多业务场景中，为数据驱动的决策提供技术支持。