个人大数据之旅

[lmmsoft]

记录个人大数据相关的 idea

有了ChatGPT之后，AI大爆发，借助大模型，人人都可以用 提示词 的方式搞人工智能，算力大爆发，思路大爆发，一切皆可以用AI重做一遍。

我也不能例外。

【原则】 给自己的要求：每天动动手

• 数据自己管理
• SaaS服务要尝试，selfhost开源的工具也要弄，甚至自己参与到构建未来的工具中来
• 不用在乎存储空间，算力（花钱）
• 提效，用 AI 全面武装自己的生活，全面提效

【大方向】

• 文本
  • 个人所有生产的内容，第二大脑，硅基生命
  • 个人阅读的所有内容，摘要，索引，推荐，再创造，大脑外存
• 多模态（图像，视频）
  • 个人所有照片处理，自动标注内容
  • 个人视频处理，自动生成摘要短片

【备份】

• 原始数据（常用的db，可能都得有一套，稳定的，最稳定好用的应该是云服务）
• 热备（nas出场啦，百度云，iCloud手机+微信聊天记录备份）
• 冷备（异构数据库（准实时），移动硬盘（每年），OSS存档存储（github acrtion定期））
• 其他冷备：刻盘现在应该不流行了吧

[lmmsoft]

第一章：升级NAS 背景： 实操：pdd yyds 结果：

• 花了xx元，增加了14.x T的存储空间
• 两个8T 拆开使用 ？ 算了吧
• 缓存从256G 的SSD 换成了1T，计算出来8T的盘要1.2T缓存，基本够用了。16T盘有需要的话也加个1T缓存，或者2T也不算贵，小几百吧
• 内存 4G+8G=12G 绰绰有余了，可以跑很多docker服务了，甚至是win10虚拟机，现在的瓶颈是 CPU，2 core 1.5G的赛扬，服务多了不堪重负，哈哈

【网络】

• 家里电信宽带，没有固定IPv4， ipv6应该有
• 常用端口被封，比如 80 443等，实在需要的话也可以用 ngrok做内网穿透，每个账号一个免费额度
• 路由器超级密码，开了DMZ，端口无脑转发到NAS
• 有了群晖自带的 ddns服务，有个域名

[lmmsoft]

第二章：搭建数据库

最终方案：

NAS: mysql(双活), redis（不差内存） Azure虚拟机：mongodb， Azure免费db服务：mysql + postgress + azuredb（热备）

Serverless服务：

mongodb atlas: 免费额度 https://cloud.mongodb.com/ 注意要选Shared 里面的 M0, 有 512M 大小，Serverless 是要钱的，60天没用会回收 redis: 免费额度 rsshub: 使用 https://zeabur.com/ 自己搭建一个，需要7天登陆一次

DB具体场景：

postgres

• ttrss 用 mysql 小问题很多，还是 postgress 减少折腾吧
• wallabag, 抓取的数据都放一起吧

MySQL

• trojan-web 的用户数据库，单独搭个MariaDB其实运行得也挺好，但是消耗内存，1G的vm 内存是瓶颈，vCPU的quota目前一直不是

VM场景

• redis 比较贵(eg: Azure Cache for Redis)，用VM 自己搭建吧
• trojan 共享ip用ChatGPT容易封号，还是自建吧
• ttrss
• wallabag

[lmmsoft]

第三章：搭建ttrss

【What】

• 官网 https://tt-rss.org/
• 官方论坛 https://community.tt-rss.org/
• 开源的 rss 订阅服务
• 目标是抓取收集自己的信息源

【Why】

• 开源方案，可以 selfhost，自主可控
• 借助rsshub，收集更多信息
• 虽然是php写的XD，但是业界排名第一，插件丰富，功能晚上

【How】

国产搭建方案，

https://github.com/HenryQW/Awesome-TTRSS

放那里？

• db 在 azure, 服务在哪其实无所谓，有域名就行，azure vm, 本地nas都可以
• docker 一键部署，保留好脚本，后期折腾应该不算多
• 为了减少未来的折腾，还是nas吧
• 初期先放azure vm上，稳定性更好，服务器在国外，抓取应该更稳定

用什么方案

• 适合我的大概有三种方案
• 1. 群晖 第三方服务里 ttrss/会自己在机器上装mariadb，遇到些问题，没成功
• 2. docker + 自建数据库/最后我用的方案，数据库用的azure的postgres
• 3. docker-compose(自带数据库) / 最省事的方案，多年前我用过一次，最后服务和数据一起，因为虚拟机没续费，而丢失全部数据，服务还可以重建，数据丢了就没办法了，大部分博客默认只有10条，有的订阅源不在了，数据也就彻底没有了
• 最终选择了方案2，服务可以随时搭建在多个地方，数据必须自己管控，还要有备份机制等

这个教程不错 https://sspai.com/post/57498

docker 部署

docker run -it --name ttrss --restart=always \
-e SELF_URL_PATH=[ TTRSS 实例地址 ]  \
-e DB_HOST=[ 数据库地址 ]  \
-e DB_PORT=[ 数据库端口 ]  \
-e DB_NAME=[ 数据库名称 ]  \
-e DB_USER=[ 数据库用户名 ]  \
-e DB_PASS=[ 数据库密码 ]  \
-p [ 容器对外映射端口 ]:80  \
-d wangqiru/ttrss

• 我的实际命令，供参考

  
  docker run -it --name ttrss --restart=always \
  -e SELF_URL_PATH=http://xxx.cloudapp.azure.com:181 \
  -e DB_HOST=xxx.postgres.database.azure.com  \
  -e DB_PORT=5432  \
  -e DB_NAME=ttrss  \
  -e DB_USER=xx  \
  -e DB_PASS=xx  \
  -p 181:80  \
  -d wangqiru/ttrss

- 我的 docker-compose.yml ，注释掉了 postgress 容器部分，ttrss 修改环境变量，连接azure的postgres数据库，供参考，实际请在awesome-TTRSS项目的最新 docker-compose.yml 上修改

version: "3" services: service.rss: image: wangqiru/ttrss:latest container_name: ttrss ports:

• 181:80 environment:
• SELF_URL_PATH=http://xxx.cloudapp.azure.com:181
• DB_HOST=xxx.postgres.database.azure.com
• DB_PORT=5432
• DB_NAME=ttrss
• DB_USER=xxx
• DB_PASS=xxx
• PUID=1000
• PGID=1000 volumes:
• feed-icons:/var/www/feed-icons/ networks:
• public_access
• service_only

• database_only stdin_open: true tty: true restart: always

  service.mercury: # set Mercury Parser API endpoint to service.mercury:3000 on TTRSS plugin setting page image: wangqiru/mercury-parser-api:latest container_name: mercury networks:

• public_access

• service_only restart: always

  service.opencc: # set OpenCC API endpoint to service.opencc:3000 on TTRSS plugin setting page image: wangqiru/opencc-api-server:latest container_name: opencc environment:

• NODE_ENV=production networks:

• service_only restart: always

  database.postgres:

  image: postgres:13-alpine

  container_name: postgres

  environment:

  - POSTGRES_PASSWORD=ttrss # feel free to change the password

  volumes:

  - ~/postgres/data/:/var/lib/postgresql/data # persist postgres data to ~/postgres/data/ on the host

  networks:

  - database_only

  restart: always

  utility.watchtower:

  container_name: watchtower

  image: containrrr/watchtower:latest

  volumes:

  - /var/run/docker.sock:/var/run/docker.sock

  environment:

  - WATCHTOWER_CLEANUP=true

  - WATCHTOWER_POLL_INTERVAL=86400

  restart: always

volumes: feed-icons:

networks: public_access: # Provide the access for ttrss UI service_only: # Provide the communication network between services only internal: true database_only: # Provide the communication between ttrss and database only internal: true

## 【踩坑】
Azure的postgres默认强制ssl登陆，而 ttrss 的初始化代码里，没有打开ssl，会导致报错

Exception while creating PDO object:SQLSTATE[08006] [7] connection to server at "xxx.postgres.database.azure.com" (202.89.222.255), port 5432 failed: could not open certificate file "/root/.postgresql/postgresql.crt": Permission denied
connection to server at "xxx.postgres.database.azure.com" (202.89.222.255), port 5432 failed: FATAL:  no pg_hba.conf entry for host "202.222.16.44", user "xxx", database "ttrss", no encryption

解决的方法是在 Azure Postgres的【服务器参数】里，把 require_secure_transport 设为 false
![image](https://github.com/lmmsoft/2023/assets/1109198/aa5b7173-4e48-4f8d-b1e9-2490c9343f4e)

## 踩坑2
- db 问题过了后，部署应该可以了， 但是 url 总是打不开，vm上 curl localhost:181 有返回， curl dns:181 不行，应该是防火墙问题，azure vm的网络配置里，赶紧打开 181 端口

## 踩坑3
- 打开网页后，提示我 SELF_URL_PATH 不对， 应该是 http://url ， 我原本设置是 url，没有http://，删了容器重启
- 正确>  -e SELF_URL_PATH=http://xxx.azure.com:181

## 装好之后
- 如何开启 opencc 和 mercury 插件，其他的一些折腾内容，参考 https://spencer-blog-legacy.vercel.app/2020/03/ttrss-noteworthy/

[lmmsoft]

第四章：搭建rsshub

• What: 一个开源的服务，可以把非rss资源也转成rss的，方便订阅，统一保存，可以认为是个代理吧

• How： 搭建教程

• https://docs.rsshub.app/

• https://github.com/DIYgod/RSSHub

• https://rss.shab.fun/ 第三方，比较稳定，比较快

• https://rsshub.rssforever.com/ 永久，哈哈

自己搭建

• https://lmm333rsshub.zeabur.app/
• 使用 zeabur 的marker, 非常方便，点点鼠标就行，缺点是7天要签到一次

发现网页的rss源

• 我用的是油猴插件
• https://chrome.google.com/webstore/detail/rsshub-radar/kefjpfngnndepjbopdmoebkipbgkggaa （这个应该是Chrome插件）
• 源码 https://github.com/DIYgod/RSSHub-Radar

微信公众号

• https://github.com/feeddd/feeds Hamibot Feed 提供的公众号feed列表，包含了上万？个公众号的feed，试了一下，被封的公众号打不开，最近没更新的公众号能打开，但是列表是空的；没有全文，只有链接，全文抓取插件不太灵啊
  • 公众号列表 https://raw.githubusercontent.com/feeddd/feeds/master/feeds_all_atom.txt
  • https://hamibot.com/marketplace/vLSBc 旗下手机爬虫版本，公开版
  • https://hamibot.com/marketplace/Bh55i 旗下手机爬虫版本，私有版

Wechat2RSS

• 这个比较稳定，而且能看到全文。缺点是1不开源 2主要是安全相关的公众号
• https://github.com/ttttmr/Wechat2RSS
• https://wechat2rss.xlab.app/

[lmmsoft]

第五章：导入 rss 数据源

• NetNewsWire

• Inoreader，之前导入的有问题

• greader?

• 数据源（链接）

• 数据（真实的文章备份，因为很多都消失了）

【公众号】 【微博】订阅几个必读的人（不怎么转发，只原创思想，等等） 【推特】现在可能比较麻烦

[lmmsoft]

第六章：数据索引

ttrss 的数据，如何索引，如何AI 化？

[lmmsoft]

第七章：自动化，AI 处理 ttrss数据

• [ ] 标签，标注
• [ ] 好文摘要
• [ ] 自动推送通知
• [ ] 重点关注
• [ ] 个人阅读统计，数量，时间

[lmmsoft]

第八章：个人的【文件传输助手】【待读清单】 wallabag

• 稍后阅读开源排行榜：https://github.com/topics/read-it-later
• wallabag，排名第一的稍后阅读工具
  • https://github.com/wallabag/wallabag'
  • https://doc.wallabag.org/en/
  • https://synocommunity.com/package/wallabag 群晖的发布页，最后用的是最新docker
  • https://github.com/wallabag/wallabag/blob/master/docker-compose.yml 官方docker-compose.yml 文件

ttrss插件

• https://github.com/joshp23/ttrss-to-wallabag-v2

Chrome 插件

• https://github.com/wallabag/wallabagger
• https://chrome.google.com/webstore/detail/wallabagger/gbmgphmejlcoihgedabhgjdkcahacjlj/related (Chrome插件)

搭建 wallabag

• https://hub.docker.com/r/wallabag/wallabag 官方docker也没，这里有环境变量的文档
• https://mariushosting.com/how-to-install-wallabag-on-your-synology-nas/ 群晖如何搭建？也是用 docker-compose.yml，有db 环境变量的参考，可以直接写到 docker-compose.yml 里，不用单独再搞两个env文件 (php + postgress)
• 官方容器，有详细的环境变量参数，包括各种数据库支持

类似的

https://github.com/ArchiveBox/ArchiveBox 对比https://www.libhunt.com/compare-wallabag-vs-pirate--ArchiveBox

• ArchiveBox 更适合保持网页
• Wallabox 更适合 read it later
• By ChatGPT: ArchiveBox和Wallabag都具有各自独特的特点和用途，所以选择取决于您的具体需求。如果您想创建全面的网页存档并存储各种在线内容，ArchiveBox可能更适合。另一方面，如果您的主要目标是保存和稍后阅读文章，并希望获得更好的阅读体验，同时附带一些额外的功能，Wallabag可能更适合。我建议您探索它们各自的网站和文档，以了解它们的最新特性和功能，因为自从我在知识截止日之后可能已经更新或更改了一些内容。

搭建实操篇

搭建在哪里的思考

需要的资源和我有的资源

• 服务器： 群晖 NAS or AzureVM
• 数据存储： sqllite / postgres / mysql 三种都可以
• 缓存redis：群晖自建 or AzureVM 自建 or 免费Redis服务 （Azure Cache for Redis服务太贵， 自建太消耗内存，免费的一般缓存空间可能不够）
• docker-compse ： NAS or AzureVM 都可以
• 最终决定： NAS，主要原因是 Redis的内存问题，NAS 刚加内存条，Azure内存是瓶颈，已经强行开了Swap了。redis 在 nas 本地，redis 端口or密码 、 数据库用 postgres 远程的

[lmmsoft]

第三章，续篇：折腾ttrss

各种插件

• opencc
• mercury

  导入数据源

• opml 文件，从 inoreader/NetNewsWire

ALL-about-RSS

• 国人的，有一个更新几年的 telegram 频道，还有一个内容总结的 github 索引项目，内容丰富
• https://t.me/s/aboutrss/
• https://github.com/AboutRSS/ALL-about-RSS

[lmmsoft]

第十一章，手机机器人自动化

hamibot

• https://github.com/hamibot/hamibot 有现成脚本，要钱，最低 9.9元/月
• https://github.com/hamibot/awesome-hamibot 收集各种案例
• https://docs.hamibot.com/ 官方帮助文档
• 学习强国工具也是用的 auto.js + hamibot https://dundunnp.github.io/auto_xuexiqiangguo/hamibot.html

  appium + selenium 应该也是一种方案

[lmmsoft]

第十二章 使用python库生成自己的rss

Feedgen

• https://github.com/lkiesow/python-feedgen
• 官方文档 https://feedgen.kiesow.be/
• 中文样例：详细 https://www.chenlongyu.com/article/id/56
• 中文样例：简略 https://www.zixi.org/archives/python-feedgen.html
• 用途：自己写爬虫，然后把爬虫自定义为RSS源

[lmmsoft]

第十三章 企业微信开发

• https://github.com/tuangtalk/chatgpt-wecom 企业微信+ChatGPT+完成度更好，感觉可以卖钱
• https://github.com/zhayujie/chatgpt-on-wechat 著名的框架，也支持企业微信
  • https://github.com/zhayujie/chatgpt-on-wechat/blob/master/channel/wechatcom/README.md 企业微信部署的基本知识，不验证100人，可以使用ip，验证后只能用备案过的域名

[lmmsoft]

第十四讲 微博爬虫

• https://github.com/nghuyong/WeiboSpider
• 使用 scrapy + 配套论文 https://arxiv.org/pdf/2005.09174.pdf

[lmmsoft]

第十五讲 事件触发器

• 三个类似服务的网站，ifttt 更傻瓜式，pipedream 适合会写代码的，都可以免费试用，每个月500次免费
• https://ifttt.com/
• https://pipedream.com/
• https://zapier.com/ 100task/月
• 他们如何和 ChatGPT结合，很值得一看，比如 ifttt，可以读到rss之后，直接摘要！
• https://pipedream.com/apps/openai/integrations/instapaper
• https://ifttt.com/connect/ai_social_creator/do_note
• https://ifttt.com/explore/ifttt-ai

[lmmsoft]

第十六讲 手机远程控制

• 用途，控制手机，方便做手机上的开发等，hamibot 内置了很多搞钱脚本。
• 手机爬虫，现在是抓取部分网站很重要的方法（用手机，还要定期消费）

相关软件

• 付费：todesk
• 付费：向日葵
• 付费：hamibot
• 免费： scrcpy (screen copy)

对比文章

• https://zhuanlan.zhihu.com/p/547548318
• https://v2ex.com/t/943341

scrcpy

• https://github.com/Genymobile/scrcpy

  MacOS 安装

• https://github.com/Genymobile/scrcpy/blob/master/doc/macos.md
• 先 brew install scrcpy 花了很久，重试了几次，装了很多依赖
• You need adb, accessible from your PATH. If you don't have it yet:

  brew install android-platform-tools

• 我本地是用 Android Studio 装过 android sdk 的，改下 path 即可
• open ~/.bash_profile 或者 open ~/.zprofile 我用 zsh 就是后者
• 最后一行 export PATH="$PATH:/Users/lmm333/Library/Android/sdk/platform-tools" 注意双引号
• 保存后 source ~/.bash_profile 或者 source ~/.zprofile 或者重启终端

[lmmsoft]

第十七讲 部署 self Read it later omnivore

-更现代, 有 web + iOS app + Android app

• typescript + postgres + es + JWT

• 看了一下，现在 self host 还不成熟，未来升级可能比较困难，比较难迁移，还是先用 官方的服务端吧

• self host 还是优先用 wallabag，虽然 php 的项目太陈旧了

• https://github.com/omnivore-app/omnivore

• Chrome插件 https://chrome.google.com/webstore/detail/omnivore/blkggjdmcfjdbmmmlfcpplkchpeaiiab/

• 有中文文档 https://docs.omnivore.app/zh/

[lmmsoft]

第九章 浏览器插件

目的：全面拥抱，上网随时用 ChatGPT，被动使用 + 比较容易的主动

插件列表(用过很多，以下是推荐的，都是我高频使用的)

• monica
• Glarity
• 沉浸式翻译
• 其他：rss的，上面讲过了

Monica

• 非常好用的划词搜索，划词后可以“翻译”，“解释”，“快捷写作等”
• 只能使用官方的API，免费的每天30次，基本够用了

Glarity

• 搜索结果页自动摘要总结，youtube 等自动总结
• 可以用 ChatGPT webapp(后台调用ChatGPT网页，相当于白嫖3.5 或最大化4.0了)
• 页可以用 OpenAI / Azure 的 API
• 我的场景：英文的搜索页面，github页面等，自动出中午摘要，高效！
• TBD：支持更多页面场景，借助它优化 ttrss 的文章页？

[lmmsoft]

第二十一章 个人微信机器人方案收集

• https://github.com/aixed/WeChat-Hook
  • hook PC 微信，注入dll，暴露接口的方案
  • 文档 https://www.showdoc.com.cn/WeChatProject/8929096202824749

[lmmsoft]

第二十二章 语言输入 + AI 优化

参考文章

• 用AI增强移动端笔记效率 —— 从语音转文字和打标签说起 使用AI手机输入法优化
• 用chatgpt来整理录音转文字后的内容 给了一个好用的prompt

  
  prompt = f"""
  Your task is to clean the content in the text to make it smoother.
  This content is about xxxxxx.
  You need to remove the modal particle and remove the repeated words.
  When the sentences are incomplete and the words do not conform to the overall meaning of the context, you need to make appropriate supplements and modifications according to the meaning of the context.

perform the following actions: 1 - remove all newlines. 2 - Browse the content to understand the meaning of this text. 3 - Remove modal particles and unnecessary repetition. 4 - Output the modified content.

I don't need you to summarize, you just need to clean up the content. Note that you can only modify, add or subtract words, but not add, delete or change sentences. Clean the text below, delimited by triple backticks. Return your answer in Chinese

Text: {texts[i]} """

[lmmsoft]

第二十三章 MySQL双向同步

• 远程有个mysql， 本地nas有个作为备份，双向同步，借助 CloudCanal 的能力
• 参考文献 Mysql异地多活数据双向同步-CloudCanal实战
• 官网： https://www.clougence.com/

[lmmsoft]

第八章，续，搭建 wallabag

• docker-compose 方案，在PrivateWiki里
• mysql/pg/sqlite，最后选了mysql
• redis可选