您的位置:首页 > 新闻 > 资讯 > 远程ubuntu 20.04服务器运行python+selenium+pyautogui 爬虫解决方案

远程ubuntu 20.04服务器运行python+selenium+pyautogui 爬虫解决方案

2024/10/12 7:45:28 来源:https://blog.csdn.net/Gochan_Tao/article/details/141227432  浏览:    关键词:远程ubuntu 20.04服务器运行python+selenium+pyautogui 爬虫解决方案

背景

已经开发了一套基于python+selenium+pyautogui的爬虫脚本,通过mobaxterm远程Ubuntu服务器,让脚本在服务器上一直运行,需要用到虚拟图形界面

1、安装Google Chrome:

首先,使用wget命令下载Google Chrome的最新稳定版.deb包:

wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb

然后,使用dpkg命令安装下载的.deb包:

sudo dpkg -i google-chrome-stable_current_amd64.deb

如果在安装过程中遇到依赖问题,可以使用以下命令来解决:

sudo apt-get install -f

如果有以下类似报错:

dependency problems - leaving unconfigured Processing triggers for
mime-support (3.64ubuntu1) … Errors were encountered while processing:
google-chrome-stable

执行以下命令,即可以解决报错

apt --fix-broken install ./google-chrome-stable_current_amd64.deb

安装完成后,可以通过运行以下命令来检查Chrome的版本:
google-chrome --version

2、安装ChromeDriver:

访问 https://googlechromelabs.github.io/chrome-for-testing/#stable 这个地址去下载更新的chromedriver

wget  https://storage.googleapis.com/chrome-for-testing-public/127.0.6533.119/linux64/chromedriver-linux64.zip

然后到目录中执行:

unzip chromedriver-linux64.zip
cd chromedriver-linux64 
mv chromedriver /usr/bin 

3、安装虚拟显示器

使用 Xvfb(X Virtual Framebuffer)可以模拟一个虚拟的显示环境,这对于需要图形界面但不需要实际显示输出的自动化脚本非常有用。以下是在 Ubuntu 服务器上设置 Xvfb 的步骤:

  1. 安装 Xvfb:
    在 Ubuntu 服务器上,你可以通过以下命令安装 Xvfb

    sudo apt-get update
    sudo apt-get install xvfb
    
  2. 启动 Xvfb:
    使用 Xvfb 启动一个虚拟显示。通常,我们使用 :1 作为虚拟显示的显示器编号:

    Xvfb :1 -screen 0 1024x768x16 &
    

    这条命令会启动一个虚拟的 1024x768 分辨率,16 位颜色深度的显示器。

  3. 配置环境变量:
    为了让应用程序使用这个虚拟的显示环境,你需要设置 DISPLAY 环境变量。在你的脚本或启动命令中添加以下行:

    export DISPLAY=:1
    

    确保在调用 Python 脚本之前设置这个环境变量。

  4. 运行你的 Python 脚本:
    现在你可以运行你的 Python 脚本了。如果脚本需要图形界面,它将使用 Xvfb 虚拟的显示环境而不是尝试连接到一个真实的显示器。

  5. 自动化启动 Xvfb:
    如果你希望每次服务器启动时自动启动 Xvfb,你可以将其添加到 /etc/rc.local 文件中(如果你的系统使用 System V init),或者作为一个服务使用 systemd 来管理。

    使用 systemd 创建一个服务的示例:

    • 创建一个新的服务文件,例如 /etc/systemd/system/xvfb.service
      [Unit]
      Description=Start Xvfb for headless operation[Service]
      ExecStart=/usr/bin/Xvfb :1 -screen 0 1024x768x16 -ac
      Restart=always[Install]
      WantedBy=multi-user.target
      
    • 启用并启动服务:
      sudo systemctl enable xvfb.service
      sudo systemctl start xvfb.service
      

使用 Xvfb 的好处是,你可以在没有物理显示器或 X11 转发的情况下运行需要图形界面的应用程序。这对于服务器环境或持续集成/持续部署(CI/CD)流程非常有用。

运行报错

运行脚本报错问题:

buntu报错selenium.common.exceptions.SessionNotCreatedException:
Message: session not created: Chrome failed to start: exited normally.
(session not created: DevToolsActivePort file doesn’t exist) (The
process started from chrome location
/snap/chromium/2925/usr/lib/chromium-browser/chrome is no longer
running, so ChromeDriver is assuming that Chrome has crashed.)

可能是代码中 chromedriver_path 的位置配错了
查看 chromedriver 的位置使用 which chromedriver

其他

虚拟框架(如 Xvfb)和 ubuntu-desktop、xfce4、lxde等图形界面有啥区别?

Xvfbubuntu-desktop 是两个不同的组件,它们在功能和用途上有明显的区别:

  1. Xvfb (X Virtual Framebuffer):

    • Xvfb 是一个虚拟的显示服务器,它模拟了一个 X 服务器的运行环境,但是不提供实际的图形输出。这意味着它不会显示任何图形界面,但它允许图形应用程序认为它们正在与一个显示器交互。
    • 它主要用于自动化测试、服务器环境或者任何需要图形界面但不需要实际显示输出的情况。
    • Xvfb 通常用于开发和测试需要图形界面的应用程序,因为它可以在没有物理显示器或图形硬件的情况下运行。
  2. ubuntu-desktop:

    • ubuntu-desktop 是 Ubuntu 操作系统的桌面环境,它提供了一个完整的图形用户界面(GUI),包括窗口管理器、桌面环境、系统菜单和其他用户交互工具。
    • 它允许用户通过图形界面与操作系统进行交互,包括启动应用程序、管理文件和执行其他任务。
    • ubuntu-desktop 通常用于个人电脑或工作站,为用户提供了一个友好的图形界面来操作电脑。

主要区别:

  • 用途: Xvfb 主要用于开发和测试,而 ubuntu-desktop 用于日常使用和交互。
  • 图形输出: Xvfb 不提供图形输出,而 ubuntu-desktop 提供完整的图形用户界面。
  • 环境依赖: Xvfb 可以在没有图形硬件的情况下运行,而 ubuntu-desktop 需要图形硬件来显示界面。
  • 用户交互: Xvfb 不提供用户交互界面,ubuntu-desktop 提供了完整的用户交互环境。

Xvfb 是一个无头(headless)的解决方案,适用于需要图形界面支持但不需要显示给用户看的应用程序,而 ubuntu-desktop 是一个完整的桌面环境,提供了用户可以直接交互的图形界面。

一开始把这两者搞混了,以为只要安装了图形界面就可以运行爬虫了,结果打开的是本机的谷歌浏览器,使用了x11转发,只要一关闭mobaxterm,脚本就报错。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com