search

jackfrued / Python-100-Days

Python - 100天从新手到大师
152.97k stars 51.74k forks source link

readme

Python - 100天从新手到大师

作者：骆昊

说明：从项目上线到获得8w+星标以来，一直收到反馈说基础部分（前15天的内容）对新手来说是比较困难的，建议有配套视频进行讲解。最近把基础部分的内容重新制作了一个名为“Python-Core-50-Courses”的项目，用更为简单通俗的方式重写了这部分内容并附带了视频讲解，初学者可以看看这个新的仓库。国内用户如果访问GitHub比较慢的话，可以关注我的知乎号Python-Jack，上面的“从零开始学Python”专栏比较适合初学者，其他的专栏如“数据思维和统计思维”、“基于Python的数据分析”等也在持续创作和更新中，欢迎大家关注、点赞和评论。

想获取学习视频的小伙伴，大家可以扫描下面的二维码进入微信小程序，看看有没有适合自己的内容。大家心心念念的机器学习的内容在小程序中都可以找到，由我和我的同事为大家录制的。

大家在学习过程中如果遇到一些棘手的问题或者需要相关的学习资源，可以加入下面的QQ交流群，三个群是一样的加入一个即可，请不要重复加群，也不要在群里发布广告和其他色情、低俗或敏感内容。如果缺乏自律性，有付费学习的需求，可以添加我的微信（jackfrued）私聊，备注好自己的称呼和需求，我会给大家提供一些学习方案和职业规划方面的指导。

配套的视频在抖音和B站持续更新中，有兴趣的小伙伴可以关注我的抖音或B站账号，最近刚刚起号，还希望大家多多支持，非常感谢您！

大家一直催更的《机器学习和深度学习》因个人和公司的原因，一直处于停滞状态，近期会开始更新相关内容，感谢大家一如既往的支持和理解。

Python应用领域和职业发展分析

简单的说，Python是一个“优雅”、“明确”、“简单”的编程语言。

Python在以下领域都有用武之地。

作为一名Python开发者，根据个人的喜好和职业规划，可以选择的就业领域也非常多。

说明：目前，数据分析和数据挖掘是非常热门的方向，因为不管是互联网行业还是传统行业都已经积累了大量的数据，各行各业都需要数据分析师从已有的数据中发现更多的商业价值，从而为企业的决策提供数据的支撑，这就是所谓的数据驱动决策。

给初学者的几个建议：

Day01~15 - Python语言基础

Day01 - 初识Python

Day02 - 语言元素

Day03 - 分支结构

Day04 - 循环结构

Day05 - 构造程序逻辑

Day06 - 函数和模块的使用

Day07 - 字符串和常用数据结构

Day08 - 面向对象编程基础

Day09 - 面向对象进阶

Day10 - 图形用户界面和游戏开发

Day11 - 文件和异常

Day12 - 字符串和正则表达式

Day13 - 进程和线程

Day14 - 网络编程入门和网络应用开发

Day15 - 图像和文档处理

Day16~Day20 - Python语言进阶

Day21~30 - Web前端入门

Day31~35 - 玩转Linux操作系统

Day36~45 - 数据库基础和进阶

Day36 - 关系型数据库和MySQL概述

Day37 - SQL详解之DDL

Day38 - SQL详解之DML

Day39 - SQL详解之DQL

Day40 - SQL详解之DCL

Day41 - MySQL新特性

Day42 - 视图、函数和过程

Day43 - 索引

Day44 - Python接入MySQL数据库

Day45 - 大数据平台和HiveSQL

Day46~60 - 实战Django

Day46 - Django快速上手

Day47 - 深入模型

Day48 - 静态资源和Ajax请求

Day49 - Cookie和Session

Day50 - 报表和日志

Day51 - 日志和调试工具栏

Day52 - 中间件的应用

Day53 - 前后端分离开发入门

Day54 - RESTful架构和DRF入门

Day55 - RESTful架构和DRF进阶

Day56 - 使用缓存

Day57 - 接入三方平台

Day58 - 异步任务和定时任务

Day59 - 单元测试

Day60 - 项目上线

Day61~65 - 爬虫开发

Day61 - 网络数据采集概述

Day62 - 数据抓取和解析

Day63 - Python中的并发编程

Day64 - 使用Selenium抓取网页动态内容

Day65 - 爬虫框架Scrapy简介

Day66~80 - 数据分析

Day66 - 数据分析概述

Day67 - 环境准备

Day68 - NumPy的应用-1

Day69 - NumPy的应用-2

Day70 - NumPy的应用-3

Day71 - NumPy的应用-4

Day72 - 深入浅出pandas-1

Day73 - 深入浅出pandas-2

Day74 - 深入浅出pandas-3

Day75 - 深入浅出pandas-4

Day76 - 深入浅出pandas-5

Day77 - 深入浅出pandas-6

Day78 - 数据可视化-1

Day79 - 数据可视化-2

Day80 - 数据可视化-3

Day81~90 - 机器学习和深度学习

Day81 - 机器学习基础

Day82 - k最近邻分类

Day83 - 决策树

Day84 - 贝叶斯分类

Day85 - 支持向量机

Day86 - K-均值聚类

Day87 - 回归分析

Day88 - 深度学习入门

Day89 - PyTorch概述

Day90 - PyTorch实战

Day91~100 - 团队项目开发

第91天：团队项目开发的问题和解决方案

  1. 软件过程模型

    • 经典过程模型（瀑布模型）

      • 可行性分析（研究做还是不做），输出《可行性分析报告》。
      • 需求分析（研究做什么），输出《需求规格说明书》和产品界面原型图。
      • 概要设计和详细设计，输出概念模型图（ER图）、物理模型图、类图、时序图等。
      • 编码 / 测试。
      • 上线 / 维护。

      瀑布模型最大的缺点是无法拥抱需求变化，整套流程结束后才能看到产品，团队士气低落。

    • 敏捷开发（Scrum）- 产品所有者、Scrum Master、研发人员 - Sprint

      • 产品的Backlog（用户故事、产品原型）。
      • 计划会议（评估和预算）。
      • 日常开发（站立会议、番茄工作法、结对编程、测试先行、代码重构……）。
      • 修复bug（问题描述、重现步骤、测试人员、被指派人）。
      • 发布版本。
      • 评审会议（Showcase，用户需要参与）。
      • 回顾会议（对当前迭代周期做一个总结）。

      补充：敏捷软件开发宣言

      • 个体和互动 高于 流程和工具
      • 工作的软件 高于 详尽的文档
      • 客户合作 高于 合同谈判
      • 响应变化 高于 遵循计划

      角色：产品所有者（决定做什么，能对需求拍板的人）、团队负责人（解决各种问题，专注如何更好的工作，屏蔽外部对开发团队的影响）、开发团队（项目执行人员，具体指开发人员和测试人员）。

      准备工作：商业案例和资金、合同、憧憬、初始产品需求、初始发布计划、入股、组建团队。

      敏捷团队通常人数为8-10人。

      工作量估算：将开发任务量化，包括原型、Logo设计、UI设计、前端开发等，尽量把每个工作分解到最小任务量，最小任务量标准为工作时间不能超过两天，然后估算总体项目时间。把每个任务都贴在看板上面，看板上分三部分：to do（待完成）、in progress（进行中）和done（已完成）。

  2. 项目团队组建

    • 团队的构成和角色

      说明：感谢付祥英女士帮助我绘制了下面这张精美的公司组织架构图。

      company_architecture

    • 编程规范和代码审查（flake8、pylint）

    • Python中的一些“惯例”（请参考《Python惯例-如何编写Pythonic的代码》）

    • 影响代码可读性的原因：

      • 代码注释太少或者没有注释
      • 代码破坏了语言的最佳实践
      • 反模式编程（意大利面代码、复制-黏贴编程、自负编程、……）

  3. 团队开发工具介绍

    请参考《团队项目开发的问题和解决方案》。

项目选题和理解业务

  1. 选题范围设定

    • CMS（用户端）：新闻聚合网站、问答/分享社区、影评/书评网站等。

    • MIS（用户端+管理端）：KMS、KPI考核系统、HRS、CRM系统、供应链系统、仓储管理系统等。

    • App后台（管理端+数据接口）：二手交易类、报刊杂志类、小众电商类、新闻资讯类、旅游类、社交类、阅读类等。

    • 其他类型：自身行业背景和工作经验、业务容易理解和把控。

  2. 需求理解、模块划分和任务分配

    • 需求理解：头脑风暴和竞品分析。
    • 模块划分：画思维导图（XMind），每个模块是一个枝节点，每个具体的功能是一个叶节点（用动词表述），需要确保每个叶节点无法再生出新节点，确定每个叶子节点的重要性、优先级和工作量。
    • 任务分配：由项目负责人根据上面的指标为每个团队成员分配任务。

  3. 制定项目进度表（每日更新）

    模块 功能 人员 状态 完成 工时 计划开始 实际开始 计划结束 实际结束 备注
    评论 添加评论 王大锤 正在进行 50% 4 2018/8/7 2018/8/7
    删除评论 王大锤 等待 0% 2 2018/8/7 2018/8/7
    查看评论 白元芳 正在进行 20% 4 2018/8/7 2018/8/7 需要进行代码审查
    评论投票 白元芳 等待 0% 4 2018/8/8 2018/8/8

  4. OOAD和数据库设计

    • UML（统一建模语言）的类图

    uml

    • 通过模型创建表（正向工程），例如在Django项目中可以通过下面的命令创建二维表。
    python manage.py makemigrations app
python manage.py migrate
    • 使用PowerDesigner绘制物理模型图。

    • 通过数据表创建模型（反向工程），例如在Django项目中可以通过下面的命令生成模型。
    python manage.py inspectdb > app/models.py

第92天：Docker容器技术详解

  1. Docker简介
  2. 安装Docker
  3. 使用Docker创建容器（Nginx、MySQL、Redis、Gitlab、Jenkins）
  4. 构建Docker镜像（Dockerfile的编写和相关指令）
  5. 容器编排（Docker-compose）
  6. 集群管理（Kubernetes）

第93天：MySQL性能优化

  1. 基本原则
  2. InnoDB引擎
  3. 索引的使用和注意事项
  4. 数据分区
  5. SQL优化
  6. 配置优化
  7. 架构优化

第94天：网络API接口设计

第95天：[使用Django开发商业项目](./Day91-100/95.使用Django开发商业项 目.md)

项目开发中的公共问题
  1. 数据库的配置（多数据库、主从复制、数据库路由）
  2. 缓存的配置（分区缓存、键设置、超时设置、主从复制、故障恢复（哨兵））
  3. 日志的配置
  4. 分析和调试（Django-Debug-ToolBar）
  5. 好用的Python模块（日期计算、图像处理、数据加密、三方API）
REST API设计
  1. RESTful架构
  2. API接口文档的撰写
  3. django-REST-framework的应用
项目中的重点难点剖析
  1. 使用缓存缓解数据库压力 - Redis
  2. 使用消息队列做解耦合和削峰 - Celery + RabbitMQ

第96天：软件测试和自动化测试

单元测试
  1. 测试的种类
  2. 编写单元测试（unittest、pytest、nose2、tox、ddt、……）
  3. 测试覆盖率（coverage）
Django项目部署
  1. 部署前的准备工作
    • 关键设置（SECRET_KEY / DEBUG / ALLOWED_HOSTS / 缓存 / 数据库）
    • HTTPS / CSRF_COOKIE_SECUR / SESSION_COOKIE_SECURE
    • 日志相关配置
  2. Linux常用命令回顾
  3. Linux常用服务的安装和配置
  4. uWSGI/Gunicorn和Nginx的使用
    • Gunicorn和uWSGI的比较
      • 对于不需要大量定制化的简单应用程序，Gunicorn是一个不错的选择，uWSGI的学习曲线比Gunicorn要陡峭得多，Gunicorn的默认参数就已经能够适应大多数应用程序。
      • uWSGI支持异构部署。
      • 由于Nginx本身支持uWSGI，在线上一般都将Nginx和uWSGI捆绑在一起部署，而且uWSGI属于功能齐全且高度定制的WSGI中间件。
      • 在性能上，Gunicorn和uWSGI其实表现相当。
  5. 使用虚拟化技术（Docker）部署测试环境和生产环境
性能测试
  1. AB的使用
  2. SQLslap的使用
  3. sysbench的使用
自动化测试
  1. 使用Shell和Python进行自动化测试
  2. 使用Selenium实现自动化测试
    • Selenium IDE
    • Selenium WebDriver
    • Selenium Remote Control
  3. 测试工具Robot Framework介绍

第97天：电商网站技术要点剖析

  1. 商业模式和需求要点
  2. 物理模型设计
  3. 第三方登录
  4. 缓存预热和查询缓存
  5. 购物车的实现
  6. 支付功能集成
  7. 秒杀和超卖问题
  8. 静态资源管理
  9. 全文检索方案

第98天：项目部署上线和性能调优

  1. MySQL数据库调优
  2. Web服务器性能优化
    • Nginx负载均衡配置
    • Keepalived实现高可用
  3. 代码性能调优
    • 多线程
    • 异步化
  4. 静态资源访问优化
    • 云存储
    • CDN

第99天：面试中的公共问题

第100天：Python面试题实录