-
![]()
Scrapy框架-Spider和Craw
[TOC] 1.目标 爬取每个页面链接的内部内容和投诉信息 2.方法1：通过Spider爬取 python coding: utf 8 import scrapy from dongguanSpider.items import DongguanItem class SunSpider(scrapy ... -
![]()
python虚拟环境管理之virtual
虚拟环境的作用 使python环境拥有独立的包，避免污染原本的python环境。为不同的项目创建不同的环境可以避免安装的库过于庞大和相互干扰。 例如你想在同一台机器上开发用python2和python3写的2个项目就可以用虚拟环境进行隔离，又网站开发、爬虫和科学计算所需要的包都不一样也可以用虚拟环境 ... -
![]()
02_输入检索词自动爬取百度搜索页标题信
背景：在百度每次输入关键词检索后，会出现很多的检索页，不利于有效阅读，为更方便收集检索信息，编写了一个可以收集每个检索页与检索词相关的十条检索信息（百度在每个检索页放置十条检索标题信息）。可以根据需要选择爬取多少检索页，通过修改main()函数的depth变量 1 import urllib.req... ... -
![]()
python(leetcode)-66加
看到题目觉得非常简单 只需要找到list的最后一个下标位置使其加一 即可。 然而天真如我 下面情况才是这题的重点 需要考虑进位的情况 重新思考： 笔者想到的是先将数组数字转为十进制数字，然后加一，接着按位取模得到每一位的值。 上代码（花费时间48ms)击败70% 然后举出比较正常的方法 思路：对每个 ... -
![]()
#21 Python异常
前言 运行程序时经常遇到各种错误，例如：ImportError（导入模块错误）、IndexError（索引错误）、NameError（变量错误）、SyntaxError（语法错误）、IndentationError（缩进错误）等，你或许有许多疑问，为什么程序出现这个错误就会打印出相应的错误信息，自己 ... -
![]()
python 简单爬取今日头条热点新闻(
今日头条如今在自媒体领域算是比较强大的存在，今天就带大家利用python爬去今日头条的热点新闻，理论上是可以做到无限爬取的； 在浏览器中打开今日头条的链接，选中左侧的热点，在浏览器开发者模式network下很快能找到一个‘?category=new_hot...’字样的文件，查看该文件发现新闻内容的 ... -
![]()
进程间的通信
使用 multiprocessing 里的 Queue() ... -
![]()
selenum autoit上传图片
目前，一般实现文件图片上传的方式都是有一个按钮，点击之后直接调用操作系统自身的弹框，选择文件后，实现上传。因为Selenium不支持调用操作系统的操作，所以这种情况下，利用Selenium无法完成图片上传，这时，我们可以选择autoit实现。 autoit可以操控控件 下载地址 ：https://w ... -
![]()
Python练手例子（6）
31、请输入星期几的第一个字母来判断一下是星期几，如果第一个字母一样，则继续判断第二个字母。 程序分析：用情况语句比较好，如果第一个字母一样，则判断用情况语句或if语句判断第二个字母。 32、按相反的顺序输出列表的值。 33、按逗号分隔列表。 34、练习函数调用。 35、文本颜色设置。 36、求10 ... -
![]()
进程池
from multiprocessing import Pool import os import time def worker(num): print("task is runing " % (os.getpid(), num)) time.sleep(2) def main(): # 定义一个... ... -
![]()
python3.6以上 asyncio模
运行结果： 参考资料： https://www.cnblogs.com/dhcn/p/9032461.html ... -
![]()
python第十二周：MySql
MySql数据库 MySQL 是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。MySQL 是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 MySQL 是开源的，所以你不需要支 ... -
![]()
多任务拷贝小案例
使用到： 进程池（重复利用进程），队列（用于进程间的通信，显示进度） 功能： 拷贝文件夹下的所有文件，显示进度 注意： 如涉及到进程池同时需要使用到队列，使用multiprocessing.Manager().Queue()，而非multiprocessing.Queue() ... -
![]()
基于 Python 和 Pandas 的
基于 Python 和 Pandas 的数据分析(1) Pandas 是 Python 的一个模块(module), 我们将用 Python 完成接下来的数据分析的学习. Pandas 模块是一个高性能，高效率和高水平的数据分析库. 从本质上讲，它非常像操作电子表格的无头版本，如Excel. 我们所 ... -
![]()
Python爬虫基础--分布式爬取贝壳网
1. server_code01 2. server_code02 3. server_code03 ... -
![]()
OnlineJudge难度与正确度的相关
本着做题的心态，上了东莞理工学院的 oj 网；在选择难度的时候发现有些题目通过率和难度可能存在着某些关系，于是决定爬下这些数据简单查看一下是否存在关系。 一、新建项目 我是用 Scrapy 框架爬取的（因为刚学没多久，顺便练练手）。首先，先新建 project （下载 Scarpy 部分已省略），在 ... -
![]()
Python之父重回决策层，社区未来如何
春节假期结束了，大家陆续地重回到原来的生活轨道上。假期是一个很好的休息与调节的机会，同时，春节还有辞旧迎新的本意，它是新的轮回的开端。 在 Python 社区里，刚发生了一件大事，同样有开启新纪元的意义：在"Python 之父" Guido van Rossum 宣布卸任 BDFL（终身仁慈独裁者） ... -
![]()
Python模块time、datetim
模块: 模块是一系列常用功能的集合体，一个py文件就是一个模块。 一、模块的作用： 1、从文件级别组织程序，方便管理，随着程序的发展，功能越来越多，我们通常将程序分成一个个py文件，这样做程序的结构更清晰，方便管理。这时我们不仅可以把这些文件当做脚本去执行，还可以把他们当做模块来导入到其他的模块中， ... -
![]()
python装饰器（披着羊皮的狼）
python装饰器的作用是在不改变原有函数的基础上，对函数的功能进行增加或者修改。 装饰器语法是python语言更加优美且避免很多繁琐的事情，flask中配置路由的方式便是装饰器。 首先python中一个函数也是可以当做一个对象进行传递的。 输出结果为 上面代码相当于 带参数的装饰器 结果： 相当于 ... -
![]()
Python爬虫入门教程 34-100
爬前叨叨 已经编写了33篇爬虫文章了，如果你按着一个个的实现，你的爬虫技术已经入门，从今天开始慢慢的就要写一些有分析价值的数据了，今天我选了一个《掘金网》，我们去爬取一下他的 全站用户 数据。 爬取思路 获取全站用户，理论来说从1个用户作为切入点就可以，我们需要爬取用户的关注列表，从关注列表不断的叠 ...
- openvpn linux客户端使用
48703
- H3C基本命令大全
47728
- openvpn windows客户端使用
38511
- H3C IRF原理及 配置
35712
- Python exit()函数
30150
- openvpn mac客户端使用
26888
- python全系列官方中文文档
25905
- 1.常用turtle功能函数
20759
- python 获取网卡实时流量
20519
- python 获取Linux和Windows硬件信息
18915
- 使用ms-swift基于Qwen3-8B微调小说模型
307°
- pythonp爬虫-fanqienovel字体反爬实战
376°
- 大模型基础架构
415°
- AI多模态- Janus-Pro-7B模型推理微调,融合实战2
423°
- Selenium加载用户目录爬取某宝电商数据
410°
- Scrapy对接Pyppeteer
416°
- WSL从C盘迁移到D盘
464°
- AI多模态- Janus-Pro-7B模型本地部署1
527°
- Dify+Ollama+deepseek部署本地大模型
653°
- Ubuntu上安装部署Dify
654°
- 姓名：Run
- 职业：谜
- 邮箱：383697894@qq.com
- 定位：上海 · 松江
