GitHub | 将 issues 保存到本地

[techiall]

利用 GitHub 的 api 接口，我们可以调用这个接口，访问所有人的 issue，返回的格式为 JSON。

https://api.github.com/repos/<your github name>/<your repositories>/issues

• <your github name> github 的用户名
• your repositories 要获取 issues 的仓库名

爬取代码

• python 3.6
• 将每个 issues 保存为后缀名为 md 的文件
• 利用正则，将不能作为文件名的字符替换成 -

方式1

import requests
import json
import re

def new_name(file_name: str) -> str:
    """
    将 [ \ / : * ? " < > | ] 替换成 [ - ]

    :param file_name: str
    :return: str
    """
    return re.sub(r"[\/\\\:\*\?\"\<\>\|]", "-", file_name)

if __name__ == '__main__':
    # https://api.github.com/repos/<your github name>/<your repositories>/issues
    r = requests.get(
        url='https://api.github.com/repos/techial1042/blog/issues',
    )
    data = json.loads(r.text)
    for i in data:
        print(i['title'])
        with open(
            '%s.md' % new_name(file_name=i['title']),
            'w',
            encoding='utf-8'
        ) as f:
            f.write(i['body'])

方式二

import requests
import json
import re

if __name__ == '__main__':
    # https://api.github.com/repos/<your github name>/<your repositories>/issues
    r = requests.get(url='https://api.github.com/repos/techial1042/blog/issues')
    data = json.loads(r.text)
    title = map(
        lambda file_name: re.sub(r"[\/\\\:\*\?\"\<\>\|]", "-", file_name),
        map(lambda this: this['title'], data)
    )
    body = map(lambda this: this['body'], data)
    for (t, d) in zip(title, body):
        with open('{}.md'.format(t), 'w', encoding='utf-8') as f:
            f.write(d)

[ChangXiaoning]

我实际运行了一下博主大大的代码，似乎只能抓取到issue列表里最新的一个issue？

[techiall]

我实际运行了一下博主大大的代码，似乎只能抓取到issue列表里最新的一个issue？

@ChangXiaoning Hi，我也本地测试了，是可以获取「最新」的 30 篇 issue，方式一，方式二都是没问题的。

[ChangXiaoning]

啊哦，不好意思，我代码写的有问题，耽误大大时间啦

[ChangXiaoning]

@techial1042 不过还想打扰一下，请问怎么能突破30篇issues的限制呢🙈

[techiall]

@techial1042 不过还想打扰一下，请问怎么能突破30篇issues的限制呢🙈

@ChangXiaoning Hi，你可以在 URL 后面加个查询参数 page=1，递增 page，等到 page 返回的数据为 empty，即为全部的 issues。

如果你需要有其他的查询需求，你可以看下 GitHub 官方 API 文档 https://docs.github.com/en/rest/reference/issues 。

[ChangXiaoning]

好嘞，谢谢☺️