lmmsoft commented 1 year ago

记录个人大数据相关的 idea

有了ChatGPT之后，AI大爆发，借助大模型，人人都可以用提示词的方式搞人工智能，算力大爆发，思路大爆发，一切皆可以用AI重做一遍。

我也不能例外。

【原则】给自己的要求：每天动动手

数据自己管理
SaaS服务要尝试，selfhost开源的工具也要弄，甚至自己参与到构建未来的工具中来
不用在乎存储空间，算力（花钱）
提效，用 AI 全面武装自己的生活，全面提效

【大方向】

文本
- 个人所有生产的内容，第二大脑，硅基生命
- 个人阅读的所有内容，摘要，索引，推荐，再创造，大脑外存
多模态（图像，视频）
- 个人所有照片处理，自动标注内容
- 个人视频处理，自动生成摘要短片

【备份】

原始数据（常用的db，可能都得有一套，稳定的，最稳定好用的应该是云服务）
热备（nas出场啦，百度云，iCloud手机+微信聊天记录备份）
冷备（异构数据库（准实时），移动硬盘（每年），OSS存档存储（github acrtion定期））
其他冷备：刻盘现在应该不流行了吧

lmmsoft commented 1 year ago

第一章：升级NAS 背景：实操：pdd yyds 结果：

花了xx元，增加了14.x T的存储空间
两个8T 拆开使用？算了吧
缓存从256G 的SSD 换成了1T，计算出来8T的盘要1.2T缓存，基本够用了。16T盘有需要的话也加个1T缓存，或者2T也不算贵，小几百吧
内存 4G+8G=12G 绰绰有余了，可以跑很多docker服务了，甚至是win10虚拟机，现在的瓶颈是 CPU，2 core 1.5G的赛扬，服务多了不堪重负，哈哈

【网络】

家里电信宽带，没有固定IPv4， ipv6应该有
常用端口被封，比如 80 443等，实在需要的话也可以用 ngrok做内网穿透，每个账号一个免费额度
路由器超级密码，开了DMZ，端口无脑转发到NAS
有了群晖自带的 ddns服务，有个域名

lmmsoft commented 1 year ago

第二章：搭建数据库

最终方案：

NAS: mysql(双活), redis（不差内存） Azure虚拟机：mongodb， Azure免费db服务：mysql + postgress + azuredb（热备）

Serverless服务：

mongodb atlas: 免费额度 https://cloud.mongodb.com/ 注意要选Shared 里面的 M0, 有 512M 大小，Serverless 是要钱的，60天没用会回收 redis: 免费额度 rsshub: 使用 https://zeabur.com/ 自己搭建一个，需要7天登陆一次

DB具体场景：

postgres

ttrss 用 mysql 小问题很多，还是 postgress 减少折腾吧
wallabag, 抓取的数据都放一起吧

MySQL

trojan-web 的用户数据库，单独搭个MariaDB其实运行得也挺好，但是消耗内存，1G的vm 内存是瓶颈，vCPU的quota目前一直不是

VM场景

redis 比较贵(eg: Azure Cache for Redis)，用VM 自己搭建吧
trojan 共享ip用ChatGPT容易封号，还是自建吧
ttrss
wallabag

lmmsoft commented 1 year ago

第三章：搭建ttrss

【What】

官网 https://tt-rss.org/
官方论坛 https://community.tt-rss.org/
开源的 rss 订阅服务
目标是抓取收集自己的信息源

【Why】

开源方案，可以 selfhost，自主可控
借助rsshub，收集更多信息
虽然是php写的XD，但是业界排名第一，插件丰富，功能晚上

【How】

国产搭建方案，

https://github.com/HenryQW/Awesome-TTRSS

放那里？

db 在 azure, 服务在哪其实无所谓，有域名就行，azure vm, 本地nas都可以
docker 一键部署，保留好脚本，后期折腾应该不算多
~~为了减少未来的折腾，还是nas吧~~
初期先放azure vm上，稳定性更好，服务器在国外，抓取应该更稳定

用什么方案

适合我的大概有三种方案
1. 群晖第三方服务里 ttrss/会自己在机器上装mariadb，遇到些问题，没成功
1. docker + 自建数据库/最后我用的方案，数据库用的azure的postgres
1. docker-compose(自带数据库) / 最省事的方案，多年前我用过一次，最后服务和数据一起，因为虚拟机没续费，而丢失全部数据，服务还可以重建，数据丢了就没办法了，大部分博客默认只有10条，有的订阅源不在了，数据也就彻底没有了
最终选择了方案2，服务可以随时搭建在多个地方，数据必须自己管控，还要有备份机制等

这个教程不错 https://sspai.com/post/57498

docker 部署

docker run -it --name ttrss --restart=always \
-e SELF_URL_PATH=[ TTRSS 实例地址 ]  \
-e DB_HOST=[ 数据库地址 ]  \
-e DB_PORT=[ 数据库端口 ]  \
-e DB_NAME=[ 数据库名称 ]  \
-e DB_USER=[ 数据库用户名 ]  \
-e DB_PASS=[ 数据库密码 ]  \
-p [ 容器对外映射端口 ]:80  \
-d wangqiru/ttrss

我的实际命令，供参考


docker run -it --name ttrss --restart=always \
-e SELF_URL_PATH=http://xxx.cloudapp.azure.com:181 \
-e DB_HOST=xxx.postgres.database.azure.com  \
-e DB_PORT=5432  \
-e DB_NAME=ttrss  \
-e DB_USER=xx  \
-e DB_PASS=xx  \
-p 181:80  \
-d wangqiru/ttrss


- 我的 docker-compose.yml ，注释掉了 postgress 容器部分，ttrss 修改环境变量，连接azure的postgres数据库，供参考，实际请在awesome-TTRSS项目的最新 docker-compose.yml 上修改

version: "3" services: service.rss: image: wangqiru/ttrss:latest container_name: ttrss ports:

181:80 environment:
SELF_URL_PATH=http://xxx.cloudapp.azure.com:181
DB_HOST=xxx.postgres.database.azure.com
DB_PORT=5432
DB_NAME=ttrss
DB_USER=xxx
DB_PASS=xxx
PUID=1000
PGID=1000 volumes:
feed-icons:/var/www/feed-icons/ networks:
public_access
service_only
database_only stdin_open: true tty: true restart: always

service.mercury: # set Mercury Parser API endpoint to service.mercury:3000 on TTRSS plugin setting page image: wangqiru/mercury-parser-api:latest container_name: mercury networks:
public_access
service_only restart: always

service.opencc: # set OpenCC API endpoint to service.opencc:3000 on TTRSS plugin setting page image: wangqiru/opencc-api-server:latest container_name: opencc environment:
NODE_ENV=production networks:
service_only restart: always

database.postgres:

image: postgres:13-alpine

container_name: postgres

environment:

- POSTGRES_PASSWORD=ttrss # feel free to change the password

volumes:

- ~/postgres/data/:/var/lib/postgresql/data # persist postgres data to ~/postgres/data/ on the host

networks:

- database_only

restart: always

utility.watchtower:

container_name: watchtower

image: containrrr/watchtower:latest

volumes:

- /var/run/docker.sock:/var/run/docker.sock

environment:

- WATCHTOWER_CLEANUP=true

- WATCHTOWER_POLL_INTERVAL=86400

restart: always

volumes: feed-icons:

networks: public_access: # Provide the access for ttrss UI service_only: # Provide the communication network between services only internal: true database_only: # Provide the communication between ttrss and database only internal: true


## 【踩坑】
Azure的postgres默认强制ssl登陆，而 ttrss 的初始化代码里，没有打开ssl，会导致报错

Exception while creating PDO object:SQLSTATE[08006] [7] connection to server at "xxx.postgres.database.azure.com" (202.89.222.255), port 5432 failed: could not open certificate file "/root/.postgresql/postgresql.crt": Permission denied
connection to server at "xxx.postgres.database.azure.com" (202.89.222.255), port 5432 failed: FATAL:  no pg_hba.conf entry for host "202.222.16.44", user "xxx", database "ttrss", no encryption



解决的方法是在 Azure Postgres的【服务器参数】里，把 require_secure_transport 设为 false
![image](https://github.com/lmmsoft/2023/assets/1109198/aa5b7173-4e48-4f8d-b1e9-2490c9343f4e)

## 踩坑2
- db 问题过了后，部署应该可以了， 但是 url 总是打不开，vm上 curl localhost:181 有返回， curl dns:181 不行，应该是防火墙问题，azure vm的网络配置里，赶紧打开 181 端口

## 踩坑3
- 打开网页后，提示我 SELF_URL_PATH 不对， 应该是 http://url ， 我原本设置是 url，没有http://，删了容器重启
- 正确>  -e SELF_URL_PATH=http://xxx.azure.com:181

## 装好之后
- 如何开启 opencc 和 mercury 插件，其他的一些折腾内容，参考 https://spencer-blog-legacy.vercel.app/2020/03/ttrss-noteworthy/

lmmsoft commented 1 year ago

第四章：搭建rsshub

What: 一个开源的服务，可以把非rss资源也转成rss的，方便订阅，统一保存，可以认为是个代理吧
How：搭建教程
https://docs.rsshub.app/
https://github.com/DIYgod/RSSHub
https://rss.shab.fun/ 第三方，比较稳定，比较快
https://rsshub.rssforever.com/ 永久，哈哈

自己搭建

https://lmm333rsshub.zeabur.app/
使用 zeabur 的marker, 非常方便，点点鼠标就行，缺点是7天要签到一次

发现网页的rss源

我用的是油猴插件
https://chrome.google.com/webstore/detail/rsshub-radar/kefjpfngnndepjbopdmoebkipbgkggaa （这个应该是Chrome插件）
源码 https://github.com/DIYgod/RSSHub-Radar

微信公众号

https://github.com/feeddd/feeds Hamibot Feed 提供的公众号feed列表，包含了上万？个公众号的feed，试了一下，被封的公众号打不开，最近没更新的公众号能打开，但是列表是空的；没有全文，只有链接，全文抓取插件不太灵啊
- 公众号列表 https://raw.githubusercontent.com/feeddd/feeds/master/feeds_all_atom.txt
- https://hamibot.com/marketplace/vLSBc 旗下手机爬虫版本，公开版
- https://hamibot.com/marketplace/Bh55i 旗下手机爬虫版本，私有版

Wechat2RSS

这个比较稳定，而且能看到全文。缺点是1不开源 2主要是安全相关的公众号
https://github.com/ttttmr/Wechat2RSS
https://wechat2rss.xlab.app/

lmmsoft commented 1 year ago

第五章：导入 rss 数据源

NetNewsWire
Inoreader，之前导入的有问题
greader?
数据源（链接）
数据（真实的文章备份，因为很多都消失了）

【公众号】【微博】订阅几个必读的人（不怎么转发，只原创思想，等等）【推特】现在可能比较麻烦

lmmsoft commented 1 year ago

第六章：数据索引

ttrss 的数据，如何索引，如何AI 化？

lmmsoft commented 1 year ago

第七章：自动化，AI 处理 ttrss数据

[ ] 标签，标注
[ ] 好文摘要
[ ] 自动推送通知
[ ] 重点关注
[ ] 个人阅读统计，数量，时间

lmmsoft commented 1 year ago

第八章：个人的【文件传输助手】【待读清单】 wallabag

稍后阅读开源排行榜：https://github.com/topics/read-it-later
wallabag，排名第一的稍后阅读工具
- https://github.com/wallabag/wallabag'
- https://doc.wallabag.org/en/
- https://synocommunity.com/package/wallabag 群晖的发布页，最后用的是最新docker
- https://github.com/wallabag/wallabag/blob/master/docker-compose.yml 官方docker-compose.yml 文件

ttrss插件

https://github.com/joshp23/ttrss-to-wallabag-v2

Chrome 插件

搭建 wallabag

https://hub.docker.com/r/wallabag/wallabag 官方docker也没，这里有环境变量的文档
https://mariushosting.com/how-to-install-wallabag-on-your-synology-nas/ 群晖如何搭建？也是用 docker-compose.yml，有db 环境变量的参考，可以直接写到 docker-compose.yml 里，不用单独再搞两个env文件 (php + postgress)
官方容器，有详细的环境变量参数，包括各种数据库支持

类似的

https://github.com/ArchiveBox/ArchiveBox 对比https://www.libhunt.com/compare-wallabag-vs-pirate--ArchiveBox

ArchiveBox 更适合保持网页
Wallabox 更适合 read it later
By ChatGPT: ArchiveBox和Wallabag都具有各自独特的特点和用途，所以选择取决于您的具体需求。如果您想创建全面的网页存档并存储各种在线内容，ArchiveBox可能更适合。另一方面，如果您的主要目标是保存和稍后阅读文章，并希望获得更好的阅读体验，同时附带一些额外的功能，Wallabag可能更适合。我建议您探索它们各自的网站和文档，以了解它们的最新特性和功能，因为自从我在知识截止日之后可能已经更新或更改了一些内容。

搭建实操篇

搭建在哪里的思考

需要的资源和我有的资源

服务器：群晖 NAS or AzureVM
数据存储： sqllite / postgres / mysql 三种都可以
缓存redis：群晖自建 or AzureVM 自建 or 免费Redis服务（Azure Cache for Redis服务太贵，自建太消耗内存，免费的一般缓存空间可能不够）
docker-compse ： NAS or AzureVM 都可以
最终决定： NAS，主要原因是 Redis的内存问题，NAS 刚加内存条，Azure内存是瓶颈，已经强行开了Swap了。redis 在 nas 本地，redis 端口or密码、数据库用 postgres 远程的

lmmsoft commented 1 year ago

第三章，续篇：折腾ttrss

各种插件

opencc
mercury
导入数据源
opml 文件，从 inoreader/NetNewsWire

ALL-about-RSS

国人的，有一个更新几年的 telegram 频道，还有一个内容总结的 github 索引项目，内容丰富
https://t.me/s/aboutrss/
https://github.com/AboutRSS/ALL-about-RSS

lmmsoft commented 1 year ago

第十一章，手机机器人自动化

hamibot

https://github.com/hamibot/hamibot 有现成脚本，要钱，最低 9.9元/月
https://github.com/hamibot/awesome-hamibot 收集各种案例
https://docs.hamibot.com/ 官方帮助文档
学习强国工具也是用的 auto.js + hamibot https://dundunnp.github.io/auto_xuexiqiangguo/hamibot.html
appium + selenium 应该也是一种方案

lmmsoft commented 1 year ago

第十二章使用python库生成自己的rss

Feedgen

https://github.com/lkiesow/python-feedgen
官方文档 https://feedgen.kiesow.be/
中文样例：详细 https://www.chenlongyu.com/article/id/56
中文样例：简略 https://www.zixi.org/archives/python-feedgen.html
用途：自己写爬虫，然后把爬虫自定义为RSS源

lmmsoft commented 1 year ago

第十三章企业微信开发

https://github.com/tuangtalk/chatgpt-wecom 企业微信+ChatGPT+完成度更好，感觉可以卖钱
https://github.com/zhayujie/chatgpt-on-wechat 著名的框架，也支持企业微信
- https://github.com/zhayujie/chatgpt-on-wechat/blob/master/channel/wechatcom/README.md 企业微信部署的基本知识，不验证100人，可以使用ip，验证后只能用备案过的域名

lmmsoft commented 1 year ago

第十四讲微博爬虫

https://github.com/nghuyong/WeiboSpider
使用 scrapy + 配套论文 https://arxiv.org/pdf/2005.09174.pdf

lmmsoft commented 1 year ago

第十五讲事件触发器

三个类似服务的网站，ifttt 更傻瓜式，pipedream 适合会写代码的，都可以免费试用，每个月500次免费
https://ifttt.com/
https://pipedream.com/
https://zapier.com/ 100task/月
他们如何和 ChatGPT结合，很值得一看，比如 ifttt，可以读到rss之后，直接摘要！
https://pipedream.com/apps/openai/integrations/instapaper
https://ifttt.com/connect/ai_social_creator/do_note
https://ifttt.com/explore/ifttt-ai

lmmsoft commented 1 year ago

第十六讲手机远程控制

用途，控制手机，方便做手机上的开发等，hamibot 内置了很多搞钱脚本。
手机爬虫，现在是抓取部分网站很重要的方法（用手机，还要定期消费）

对比文章

scrcpy

https://github.com/Genymobile/scrcpy
MacOS 安装
https://github.com/Genymobile/scrcpy/blob/master/doc/macos.md
先 brew install scrcpy 花了很久，重试了几次，装了很多依赖
You need adb, accessible from your PATH. If you don't have it yet:
```
brew install android-platform-tools
```
我本地是用 Android Studio 装过 android sdk 的，改下 path 即可
open ~/.bash_profile 或者 open ~/.zprofile 我用 zsh 就是后者
最后一行 export PATH="$PATH:/Users/lmm333/Library/Android/sdk/platform-tools" 注意双引号
保存后 source ~/.bash_profile 或者 source ~/.zprofile 或者重启终端

lmmsoft commented 1 year ago

第十七讲部署 self Read it later omnivore

-更现代, 有 web + iOS app + Android app

typescript + postgres + es + JWT
看了一下，现在 self host 还不成熟，未来升级可能比较困难，比较难迁移，还是先用官方的服务端吧
self host 还是优先用 wallabag，虽然 php 的项目太陈旧了
https://github.com/omnivore-app/omnivore
Chrome插件 https://chrome.google.com/webstore/detail/omnivore/blkggjdmcfjdbmmmlfcpplkchpeaiiab/
有中文文档 https://docs.omnivore.app/zh/

lmmsoft commented 1 year ago

第九章浏览器插件

目的：全面拥抱，上网随时用 ChatGPT，被动使用 + 比较容易的主动

插件列表(用过很多，以下是推荐的，都是我高频使用的)

monica
Glarity
沉浸式翻译
其他：rss的，上面讲过了

Monica

非常好用的划词搜索，划词后可以“翻译”，“解释”，“快捷写作等”
只能使用官方的API，免费的每天30次，基本够用了

Glarity

搜索结果页自动摘要总结，youtube 等自动总结
可以用 ChatGPT webapp(后台调用ChatGPT网页，相当于白嫖3.5 或最大化4.0了)
页可以用 OpenAI / Azure 的 API
我的场景：英文的搜索页面，github页面等，自动出中午摘要，高效！
TBD：支持更多页面场景，借助它优化 ttrss 的文章页？

lmmsoft commented 1 year ago

第二十一章个人微信机器人方案收集

https://github.com/aixed/WeChat-Hook
- hook PC 微信，注入dll，暴露接口的方案
- 文档 https://www.showdoc.com.cn/WeChatProject/8929096202824749

lmmsoft commented 1 year ago

第二十二章语言输入 + AI 优化

参考文章

用AI增强移动端笔记效率 —— 从语音转文字和打标签说起使用AI手机输入法优化

用chatgpt来整理录音转文字后的内容给了一个好用的prompt


prompt = f"""
Your task is to clean the content in the text to make it smoother.
This content is about xxxxxx.
You need to remove the modal particle and remove the repeated words.
When the sentences are incomplete and the words do not conform to the overall meaning of the context, you need to make appropriate supplements and modifications according to the meaning of the context.

perform the following actions: 1 - remove all newlines. 2 - Browse the content to understand the meaning of this text. 3 - Remove modal particles and unnecessary repetition. 4 - Output the modified content.

I don't need you to summarize, you just need to clean up the content. Note that you can only modify, add or subtract words, but not add, delete or change sentences. Clean the text below, delimited by triple backticks. Return your answer in Chinese

Text: {texts[i]} """

lmmsoft commented 1 year ago

第二十三章 MySQL双向同步

远程有个mysql，本地nas有个作为备份，双向同步，借助 CloudCanal 的能力
参考文献 Mysql异地多活数据双向同步-CloudCanal实战
官网： https://www.clougence.com/

lmmsoft commented 10 months ago

第八章，续，搭建 wallabag

docker-compose 方案，在PrivateWiki里
mysql/pg/sqlite，最后选了mysql
redis可选

lmmsoft / 2023

个人大数据之旅 #9

第二章：搭建数据库

最终方案：

Serverless服务：

DB具体场景：

postgres

MySQL

VM场景

【What】

【Why】

【How】

国产搭建方案，

放那里？

用什么方案

docker 部署

database.postgres:

image: postgres:13-alpine

container_name: postgres

environment:

- POSTGRES_PASSWORD=ttrss # feel free to change the password

volumes:

- ~/postgres/data/:/var/lib/postgresql/data # persist postgres data to ~/postgres/data/ on the host

networks:

- database_only

restart: always

utility.watchtower:

container_name: watchtower

image: containrrr/watchtower:latest

volumes:

- /var/run/docker.sock:/var/run/docker.sock

environment:

- WATCHTOWER_CLEANUP=true

- WATCHTOWER_POLL_INTERVAL=86400

restart: always

自己搭建

发现网页的rss源

微信公众号

Wechat2RSS

第六章：数据索引

第七章：自动化，AI 处理 ttrss数据

第八章：个人的【文件传输助手】【待读清单】 wallabag

ttrss插件

Chrome 插件

搭建 wallabag

类似的

搭建实操篇

搭建在哪里的思考

第三章，续篇：折腾ttrss

各种插件

导入数据源

ALL-about-RSS

第十一章，手机机器人自动化

hamibot

appium + selenium 应该也是一种方案

第十二章 使用python库生成自己的rss

Feedgen

第十三章 企业微信开发

第十四讲 微博爬虫

第十五讲 事件触发器

第十六讲 手机远程控制

相关软件

对比文章

scrcpy

MacOS 安装

第十七讲 部署 self Read it later omnivore

第九章 浏览器插件

插件列表(用过很多，以下是推荐的，都是我高频使用的)

Monica

Glarity

第二十一章 个人微信机器人方案收集

第二十二章 语言输入 + AI 优化

参考文章

第二十三章 MySQL双向同步

第八章，续，搭建 wallabag

第十二章使用python库生成自己的rss

第十三章企业微信开发

第十四讲微博爬虫

第十五讲事件触发器

第十六讲手机远程控制

第十七讲部署 self Read it later omnivore

第九章浏览器插件

第二十一章个人微信机器人方案收集

第二十二章语言输入 + AI 优化