Python爬取抖音平台指定用户列表中发布的视频
前言代码123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131import requestsimport jsonimport osimport timeimport reimport pandas as pdimport random"""1.根据用户页面分享的字符串提取短url2.根据短url加上302获取location,提取sec_id3.拼接视频列表请求urlparams = { 'sec_uid' : ...
Maven项目及常用的依赖配置
前言这里我会简单介绍三种最常见Spring boot的新建方式
Spring官方新建Spring Boot项目进入页面,编辑好项目配置,点击确认,生成spring Boot项目,在IDE编译器中通过maven方式导入项目
Eclipse编译器新建Spring Boot项目官方下载的Eclipse只是个空架子,缺少各种插件,当然也缺少创建Spring Boot项目的插件这时候就需要手动下载插件Help - Eclipse- Marketplace.. 搜Spring,下载Spring Tools...我这里下载过了,就不演示了下载完后,重启Eclipse编译器重启后 File —-> New —-> other —-> Spring Boot —-> Spring Starter Project然后各种下一步下一步。。。。后面maven依赖的话按照需求进行萱选择,我会在文章后面讲哪些依赖是常用的
Idea编译器新建Spring Boot项目我用的是社区版的免费idea,我就喜欢白嫖~~File —-> Settings —-> Plugins搜Spri ...
如何使用Maven搭建是SpringMVC+Spring+Mybatis完整的Java项目
前言网上发布了不少关于搭建 Spring+SpringMVC+Mybatis 的技术文章,但是基本都是缺斤少两。我利用闲余时间自己搭建了一个完整的项目,希望对各位coder有所帮助,此项目仅供参考,自己搭建一遍才会有所收获。搭建过程中出现什么问题可以提出来大家一起解决
项目源码流程:搭建maven项目 > 搭建SpriingMVC > 搭建Spring > 搭建Mybatis > 新建各种类(controller/service…)
PS:不想看文章,可以忽略文章内容直接去看代码源码【JDK1.8.0_201百度云盘链接 提取码:ow66 】【Apache-maven-3.6.0百度云盘链接 提取码:jcu1 】【Apache-tomcat-8.5.24百度云盘链接 提取码:sm45 】【Github 项目源码链接】
开发环境
开发工具:Eclipse
框架选型:SpringMVC、Spring、Mybatis
数据库:MySQL
Jar包依赖方式:apache-maven-3.6.0
JDK版本:jdk1.8.0_201
Tomcat容器:apache-t ...
Python中实现根据抖音短视频分享链接批量下载视频(无水印)
根据抖音分享的短链接,批量下载抖音短视频只需要在数组 urlData[ ] 中添加需要下载的链接即可注意:平台有反爬机制,批量下载的时候尽量加随机延迟,避免网站有反爬机制封掉ip
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576# -*- coding=utf-8 -*-# DY去水印批量下载import requestsimport refrom time import time, sleep header = { "User-Agent": "Mozilla/5.0 (Linux; Android 8.0.0; EVA-AL10 Build/HUAWEIEVA-AL10;\ wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/ ...
Python中实现根据视频链接下载MP4视频
前言分别提供了单线程下载,和异步下载只需要在数组 urlData[ ] 中添加需要下载的链接即可注意:批量下载的时候尽量加延迟,避免网站有反爬机制封掉ip
代码123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111# -*- coding: utf-8 -*-import requestsfrom tqdm import tqdmimport osimport base64from cryptography.fernet import Fernetimport aiohttpimport asyncioimport uuidimport uvloopfrom pymysql import *tr ...
Python中实现根据抖音短视频分享链接解析获取有效的视频详情
前言主要是为了抖音短视频:带水印视频链接、不带水印的视频链接、视频文案、作者信息
代码如果不进行数据库相关操作,可以将from pymysql import * # 引入数据库依赖from pymysql.converters import escape_string # 入库字符转义这两个依赖干掉
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697import reimport jsonimport requestsimport webbrowser# 引入数据库依赖from pymysql import *# 入库字符转义from pymysql.converters import escape_string # 根据DY视频分享链接,获取视频链接def getD ...
SpringBoot中如何使用注解方式防抖或访问限制
前言关于恶意访问的锁在上一篇文章中实现了【(SpringBoot中如何使用注解方式拦截恶意访问的IP)[./259988aa]】这里依旧使用Redis锁,通过自定义注解的方式进行拦截,方便重复调用使用。Redis的配置需要自行配置
后端代码依赖引入 pom.xml和 yml配置文件中配置Redis12345<!-- redis 缓存操作 --><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId></dependency>
1234567891011121314151617181920212223spring: # redis 配置 redis: # 地址 host: 127.0.0.1 # 端口,默认为6379 port: 6379 # 数据库索引 database: 0 # ...
SpringBoot中如何使用注解方式拦截恶意访问的IP
前言针对有人频繁重复调用接口,进行恶意访问,例如使用爬虫一类,对服务造成巨大负担,所以需要在接口上进行拦截。这里利用Redis锁,通过自定义注解的方式进行拦截,方便重复调用使用。我采用的是使用单机SpringBoot + Redis的方式进行处理,没有用分布式锁Redis的配置需要自行配置
后端代码依赖引入 pom.xml和 yml配置文件中配置Redis12345678910<!-- redis 缓存操作 --><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId></dependency><!-- pool 对象池 --><dependency> <groupId>org.apache.commons</groupId> <artifactId>c ...
简单分析一下房贷利率LPR及利息计算
前言由于博主近期有购房意向,毕竟是首套房,突然对LPR感兴趣了
其实…博主也是想利益最大话,所以就稍微研究了一下LPR及利息计算。
只要你认真看完这篇文章,各位观众也能轻松了解自己的钱花哪去了
LPR到底是什么?首先,需要了解下什么是LPR?什么是房贷利率?什么是利息?什么是等额本金?什么是等额本息?
在你说你有理我说我有理的时代,每个银行贷款利率都不一样,形成了“五代十国”的纷争局面。作为老百姓,谁的利息低,我就去找谁贷款,掰着脚丫子也肯定知道选利息少的嘛。由此可见,市场也是很混乱的……直到“宋朝”的实现了统一,额……就是LPR的出现。
LPR 就是由国家牵头,组织一群银行(工行、建行、农行、中行、邮储等)开会,大伙一起来制定一个相对均衡的贷款利率标准。(去掉一个最高值,去掉一个最低值,取平均值,向0.05%的整数倍就近取整计算得出最终LPR)其实可以简单理解为:LPR是一个贷款年化利率的基础值
PS:LPR自2018年引入,以后的贷款,银行默认不再采用固定LPR,全部调整为 浮动LPR + 固定基点(BP) 方式
注意:LPR分为1年期 和 5年期的,1年期LPR利率运用到贷 ...
如何轻松在SpringBoot中正确配置并运行Kafka
引入maven依赖配置pom.xml,引入maven依赖
123456<!-- 引入kafka依赖 --><dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.8.6</version></dependency>
application.yml配置文件文章中只保留了在yml中的kafka相关配置
123456789101112131415161718192021222324252627282930313233343536spring: kafka: bootstrap-servers: xx.xx.xx.xx:9092 # kafka集群信息,多个用逗号间隔 # 生产者 producer: # 重试次数,设置大于0的值,则客户端会将发送失败的记录重新发送 ret ...







