NodeJS视频爬虫实战(M3U8)

const puppeteer = require("puppeteer");const { resolve } = require("path");const { writeJSONSync, readJSONSync, existsSync } = require('fs-extra');const child_process = require('child_process');
// 本地安装的ffmpeg目录const ffmpeg = "/Users/tangwenhui/kiner/software/ffmpeg2";// 视屏下载目录const outputPath = "/Users/tangwenhui/kiner/learning/xxxx";// 如果网站需要登录，你也可以将你在网站登录后的cookies复制下来，注入到无头浏览器中，这样就不需要再无头浏览器中额外再登录一次了const cookieArr = "name=testCookies".split(";");// 课程id(你需要爬取的目标课程的id)const courseId = "210945";// 有些网站发起接口请求时还需要额外携带token信息在请求头，根据实际需要是否配置const authorization = "Bearer xxxxx";// 将cookies处理成对象形式，方便后续注入const cookies = cookieArr.map(item => {    const row = item.trim();    const [name, value] = row.split("=");    return {        name,        value    }});// 工具方法，用于等待一定的时长async function wait(delay = 1000) {    return new Promise(resolve => {        setTimeout(() => {            resolve();        }, delay);    });;}
// 创建一个无头浏览器实例const browser = await puppeteer.launch({    headless: true});// 在无头浏览器中发起接口请求async function getApiRes(url) {    return new Promise(async resolve => {        // 在无头浏览器中新建一个标签页        const page = await browser.newPage();        // 未新开的标签也设置cookie和通用请求头        page.setCookie(...cookies);        page.setExtraHTTPHeaders({            authorization        })        // 监听页面上的接口返回事件，里面就包含了我们想要爬取的一些信息，如视频名称、m3u8        page.on('response', async res => {            // 响应url            const curUrl = res.url();            // 如果响应的url就是我们目标接口的url，就说明接收到了目标接口的返回了            if (curUrl === url) {                // 获取返回结果                const data = await res.json();                // 关闭当前标签页                await page.close();                // 回传接口响应                resolve(data);            }        });        // 访问目标接口        await page.goto(url);    });}/** * 根据id获取单个视频的m3u8文件并执行下载任务 * @param {*} id  * @returns  */async function openVideoPage(id) {    return new Promise(async resolve => {        // 获取token，用户获取视频详情时传的token        const { data: { access_token } } = await getApiRes("https://xxxx.com/access_token")        // 获取课程基础内容，包括视频id和视频名称        const { data: { content, content_title } } = await getApiRes(`https://xxx.com?content_id=${id}`);        // 删除视频名称中的空格符        const name = content_title.replace(/\s*/g, '');        // 目标视频id        const videoId = content[0].boot_params.media_id;        // 更具视频id和token获取当前视频的m3u8所以文件url        const { data: { mediaMetaInfo: { videoGroup } } } = await getApiRes(`https://xxxx.com?mediaId=${videoId}&accessToken=${access_token}`);        const playUrl = videoGroup[0].playURL;        const info = {            url: playUrl,            name: name        };        // 执行下载任务        downloadMp4ByM3U8(playUrl, name);        resolve(info);    })
}/** * 执行批量下载任务 * @param {*} arr  * @param {*} m3u8Urls  * @param {*} total  * @returns  */async function openVideoPages(arr, m3u8Urls = [], total) {    if (arr.length === 0) {        console.log("所有视频下载完毕");        return m3u8Urls;    }    const curId = arr.shift();    if (curId) {        console.log(`当前进度：${total - arr.length}/${total}`);        const info = await openVideoPage(curId);        m3u8Urls.push(info);        return openVideoPages(arr, m3u8Urls, total);    }}// 根据m3u8执行下载任务function downloadMp4ByM3U8(url, name) {    name = name.replace(/\s*/g, '');    console.log(`[${name}]开始下载--->`, url);    // ffmpeg -i "m3u8索引文件url" -c copy "视屏.mp4"    child_process.exec(`${ffmpeg} -i "${url}" -c copy ${resolve(outputPath, name)}.mp4`);}// 执行下载主函数async function doStart() {    // 获取目标课程的所有视频分组信息    const { data: { chapter_list } } = await getApiRes(`https://xxxx?course_id=${courseId}&__timestamp=${Date.now()}`);    // 遍历所有分组获取所有视频详情id    chapter_list.forEach(async item => {        const groupId = item.chapter_id;        // 根据课程id和分组id获取视频的详情id列表        const { data: { section_list } } = await getApiRes(`https://xxxx?course_id=${courseId}&chapter_id=${groupId}&__timestamp=${Date.now()}`);        const contentList = section_list.map(item => item.group_list.map(item => item.content_list.map(item => item.content).reduce((a, b) => [...a, ...b], [])).reduce((a, b) => [...a, ...b], [])).reduce((a, b) => [...a, ...b], []).filter(item => !!item.content_id);        // 根据视频详情id列表开始批量下载任务        await openVideoPages(contentList.map(item => item.content_id), [], contentList.length);    });}
doStart();

# 可传入本地m3u8文件路径或远程urlffmpeg -i "m3u8索引文件url" -c copy "视屏.mp4"