Новости с фронта

m1kc commented 11 years ago

Мне тут подумалось, что обитателям universe практически неизвестно, чем сейчас занимаются программисты. Конечно, это клёво, что вы избавляете меня от лишних расспросов, но я подумал, что от этакого еженедельного бюллетеня хуже никому точно не станет.

m1kc commented 11 years ago

Новости от 17.08.2013

Итак, чем мы занимаемся прямо сейчас? Работой под капотом - невидимой снаружи, но нужной.

Почти закончена работа над новым скриптом работы с БД. Он стал безопаснее, проще и быстрее. Кроме того, в него были влиты несколько других инструментов, до той поры существовавших отдельно. Этот скрипт - одна из самых важных частей движка, поэтому мы уделяем много времени его улучшению.
Почти готов новый механизм миграции базы. Когда он начнёт работать, станет проще вносить в игру новые возможности и изменять старые, не прибегая к экстренным мерам вроде удаления учёток всех пользователей.
Наполовину готова возможность добавлять картинки к локациям (туда, где сейчас висит рожа Саске).
Мы мигрировали на расширение mysqli. Само по себе это не несёт особых улучшений, но позволит нам в будущем использовать prepared statements, которые полностью заблокируют возможность взлома движка через SQL-инъекции. Движок будет трудно взломать даже опытному хакеру. Хотя безопасность сейчас не главный приоритет, но сделать это пришлось, потому что старое расширение mysql нельзя использовать в PHP 5.5.

m1kc commented 11 years ago

Развлекательные видеоролики про работу над uonline:

:ideograph_advantage: http://www.youtube.com/watch?v=mRtx47yAZnA&feature=youtu.be
:ideograph_advantage: http://www.youtube.com/watch?v=2YVjRL1YTrs&feature=youtu.be

Я туда ещё музыку через YouTube добавил, но она появляется как-то через раз.

m1kc commented 11 years ago

Новости от 25.08.2013

Новый механизм миграции готов и вроде бы даже работает. Ура. Теперь мучений с базой станет гораздо меньше.
Новый скрипт работы с БД тоже готов и тоже вроде бы работает. Попутно был переписан инструмент для добавления администраторов в игру. Ну а ещё теперь эти скрипты недоступны для тех, кто не имеет доступа к консоли сервера (раньше требовался только пароль).
Отображение картинок пока не включали, но парсер их уже понимает. Планируется ещё одно улучшение: сейчас движок требует, чтобы все картинки лежали в одной отдельной папке; после можно будет кидать их прямо в unify.

Ну и ещё было сделано где-то примерно двадцать семь мелких улучшений и исправлений.

m1kc commented 11 years ago

Новости от 31.08.2013

В качестве эксперимента была написана реализация части движка на Node.js. Результаты впечатляющие - движок стал работать быстрее раз в десять. Если всё остальное окажется так же хорошо, мы перейдём на эту платформу.

По основному направлению не было сделано ничего: Дима сейчас очень занят.

m1kc commented 11 years ago

Новости от 7.09.2013

Дима по-прежнему очень занят. В результате за неделю мы успели только прибить пару багов.

m1kc commented 11 years ago

А ещё мы перешли на платформу Node.js. В результате образовался такой гибрид, который пропускает запросы через себя и отдаёт старому движку то, что пока не умеет обрабатывать сам. Потихоньку переносим куски кода на новый движок.

m1kc commented 11 years ago

Новости от 5.10.2013

Всё ещё потихоньку переносим куски кода. В отличие от старого движка, мы параллельно пишем и юнит-тесты, поэтому работа идёт медленнее, зато качество кода резко повышается. Знаю, что и так работаем медленно. Но чувствую, что баги потом ловить будет некогда, поэтому лучше подстраховаться сейчас. По грубой прикидке, сейчас на Node.js перенесено порядка 25% кода. С приходом Антона мы, конечно, прибавили темпы. С другой стороны, Дима уходит в армию. Печаль, уныние. Наверное, надо искать ещё программистов. Ну, в общем, мы работаем.

m1kc commented 11 years ago

Новости от 12.10.2013

Я уже упоминал, что в связи с переходом на Node.js у проекта сейчас гибридная архитектура. Движок на Node принимает запрос и смотрит, может ли он его сам обработать, и отдаёт его старому движку, если нет. Так вот. По состоянию на сегодняшний день Node.js может самостоятельно обрабатывать около 40% запросов. Это неплохо. Что ещё лучше, 75% кода обложено юнит-тестами, что позволяет нам вносить изменения, почти не боясь, что что-то сломается.

Прогноз вполне оптимистичный. Работаем дальше.

m1kc commented 11 years ago

Попутно было выяснено, что новый движок производительнее в несколько десятков раз, спокойно держит до 130 одновременных запросов (это как минимум 1300 человек онлайн, тыкающих без перерыва) и даёт лучшее время обработки запроса 3 мс (для сравнения, РНР со всеми оптимизациями и кэшированием никогда не давал меньше 50). Кстати, об оптимизациях. В ходе портирования мы улучшили работу с базой, снизив нагрузку на БД раза в полтора.

m1kc commented 11 years ago

Новости от 20.10.2013

Всю неделю разработка медленно и вдумчиво стояла, потому что ваш покорный слуга был в Саратове и не мог влиять на код своими мощными ментальными полями. Тем не менее, мы смогли начать портировать код, связанный с боями. Попутно обнаружилось, что он в своё время был выполнен через задницу, и мы начали его приводить в более адекватный вид. Ну и привели чутка.

Вообще, в переписывании кода хорошо то, что мы ещё раз оцениваем свои решения и заменяем гнилые куски более продуманными и эффективными. Мы уже провели сотню оптимизаций и запланировали ещё столько же. Код стал чище, движок - легче, а юнит-тесты позволяют пробовать смелые решения, не боясь всё сломать. Чота я каждый раз говорю про оптимизации, но мы ими постоянно и занимаемся.

Ну и, кстати, мы уже портировали почти весь код, связанный непосредственно с игрой. Осталось портировать систему миграций БД и прочую околоземную фигню. И впереди ещё переход на PostgreSQL. Не переключайтесь.

FaceLess1 commented 11 years ago

да как не переключаться, если новости еженедельные, а не ежедневные?) шутка с долей правды. на самом деле очень классно.

FaNatizM commented 11 years ago

На олимпиаде был?

m1kc commented 11 years ago

Ога.

FaNatizM commented 11 years ago

И как оно?

m1kc commented 11 years ago

Да так, средне. Одна команда из нашего универа прошла в полуфинал, но не мы.

FaNatizM commented 11 years ago

Опять Гошан прошёл)

m1kc commented 11 years ago

Знаешь его?

FaNatizM commented 11 years ago

Можно сказать, что наслышан)

m1kc commented 11 years ago

А тем временем в uonline 666 коммитов. С днём сотоны, посоны.

m1kc commented 11 years ago

Новости от 26.10.2013

Эта неделя была посвящена техническим вопросам. Мы портировали с РНР ещё несколько функций, написали ещё несколько тестов (покрытие уже порядка 90%), провели ещё пару оптимизаций (ваш покорный слуга трижды переписывал одну функцию, пока она не обрела нормальный вид), исправили пару косяков и уже готовимся наконец выкинуть весь код на РНР, занимающийся обработкой запросов, к чёртовой матери. Это, конечно, будет веха.

Ещё я попробовал реализовать пару модулей на CoffeeScript. Это язык, похожий на JavaScript, но отличающийся крайней лаконичностью вплоть до идиотизма. Возможно, в будущем у нас часть кода будет на нём.

Ну и ещё мы готовимся начать работать над боёвкой. Пора уже делать что-то новое, правда?

m1kc commented 11 years ago

Пожалуйста, не надо отправлять в письмах цитаты, их никому не интересно читать.

m1kc commented 11 years ago

Новости от 1.11.2013

Эта неделя прошла так хорошо, что если бы я пил, то на радостях бы набухался. Произошла целая куча важных событий, в высшей степени значимых для проекта. Даже не знаю, с чего начать, поэтому просто пойду по порядку.

26-го числа мы стали использовать Grunt. Эта программа... как бы вам объяснить... делает всё. Самый близкий аналог, наверное, make. Теперь все задачи, связанные с кодом, выполняются одной командой. Grunt проверяет его на ошибки, соответствие требованиям, гоняет тесты и пересобирает те файлы, которые в ходе работы нужны браузеру. Это позволило нам одновременно упростить разработку, повысить качество кода и застраховаться от ошибок. Если я о чём-то и жалею, то только о том, что мы не перешли на него раньше.
С 27-го числа мы снова хостимся в Heroku. Если кто пропустил - это облачная платформа, позволяющая легко масштабировать проект под высокие нагрузки. Благодаря Heroku наши сервера никогда не будут падать только из-за того, что на них много народа. http://m1kc-uonline.herokuapp.com (На Heroku нет PHP, поэтому работает далеко не всё - точнее, там вообще работают три страницы, но ради любопытства глянуть можно. Если нода спит, то пробуждение займёт секунд десять.) Ещё я попробовал OpenShift, но это оказалась редкостная гадость.
С 28-го числа мы подключены к Coveralls - сервису, следящему за покрытием кода юнит-тестами. Теперь не нужно гадать, сколько процентов кода покрыто - цифра всегда под рукой.
С 28-го же числа мы подключены к David - сервису, следящему за тем, чтобы проект всегда использовал самые новые версии библиотек. Благодаря ему мы будем быстрее получать исправления ошибок и дыр в безопасности.
С 30-го числа мы в экспериментальном режиме используем Content security policy - фичу, позволяющую сделать приложение полностью неуязвимым для XSS-атак. Суть CSP в том, что она приказывает браузеру игнорировать потенциально небезопасные элементы, если те не одобрены нашим верховным раввинатом. Firefox и Chrome уже понимают CSP, остальные скоро подтянутся.
С 1-го числа проект на 100% покрыт юнит-тестами. Это целая веха - 100%-ное покрытие практически гарантирует отсутствие ошибок, а вносить изменения становится легче. Я горжусь тем, что проект достиг такого качества кода.

Фух. Вроде ничего не забыл. Пойду дальше работать.

m1kc commented 11 years ago

Это мой страховой полис?

FaceLess1 commented 11 years ago

пока бутылка будет виртуальной - да.

m1kc commented 10 years ago

Новости от 15.11.2013

Мы внесли пару мелких исправлений и портировали ещё немного кода. Ещё немного - и у нас будет возможность выкинуть весь код на PHP, занимающийся отрисовкой страниц. Это тоже будет важной вехой.

Мы решили чуть-чуть отложить работу над боевой системой и вместо этого заняться другими задачами. В частности:

Сейчас мы переносим на JS систему миграции таблиц БД. Для чего она нужна - я уже как-то объяснял. Перенести её важно, потому что на продакшен-сервере нет PHP, а таблицы, что характерно, нужны.
Мы перенесли некоторые детали движка на CoffeeScript. Не могу сказать, будет ли от этого польза, но можете порадоваться, что мы используем самые крутые технологии.
Я решил попробовать заменить наши Django-подобные шаблонизаторы (Twig и Swig) на вдвое более чёткий Jade. В принципе, нареканий особо нет, если так и будет и дальше - пойдёт в продакшен. Jade отличается от остальных шаблонизаторов тем, что для него вообще не нужно писать HTML - он требует только описание структуры страницы, а код генерирует сам. Это очень непривычно, но удобно.
Мы попробовали добавить к обычным юнит-тестам ещё и тесты HTTP через PhantomJS. Это, короче, когда проверяющая программа имитирует действия пользователя и следит за тем, чтобы сервер реагировал на них правильно. Это ещё более мощная страховка от ошибок, но она требует много времени на поддержку. Так что пока непонятно, пойдёт ли оно в работу.

Ну и под конец плохая новость: у Антона сейчас мало свободного времени, у меня тоже, так что в ближайшие две недели больших результатов не ждите. Вот.

m1kc commented 10 years ago

Новости от 22.11.2013

Пиздец оказался не очень жутким, поэтому мы всё-таки кое-что сделали. А именно:

Влили ветку js-reg. Это означает, что движок на JS взял на себя всю работу, связанную с регистрацией пользователей и хранением их паролей. Кроме того, сменился алгоритм шифрования последних - вместо bcrypt мы теперь используем PBKDF2 с уровнем защиты, примерно равным стандарту WPA2.
Перенесли большую часть системы миграции на JS. По большому счёту, осталось сделать только консольный интерфейс к ней.
Перенесли ещё пару страниц на JS. PHP'шных осталось всего пять штук.

m1kc commented 10 years ago

Новости от 30.11.2013

Мы всё ещё пилим систему миграции таблиц. Функции перенесли, теперь доделываем интерфейс. Попутно внесли пару улучшений и ускорили процесс создания таблиц (теперь там не вызывается ALTER, если можно обойтись без него, и поэтому нагрузка на базу значительно меньше). Ещё, если кому-то интересно, мы чуть-чуть изменили планы и теперь используем пакет dashdash вместо ранее запланированного optimist для разбора флагов командной строки - у последнего обнаружилась вредная привычка молча игнорировать ошибки (а жаль, я когда-то сам туда коммитил). Да, кстати, автор NodeUnit по-прежнему пидорас и хуесос, потому что уже несколько месяцев не может принять мой багфикс и даже на письма не отвечает. Такие дела вот.

m1kc commented 10 years ago

Да, забыл сказать. Теперь у нас есть кастомный buildpack для Heroku. Это, вообще, очень крутая вещь - теперь мы полностью управляем процессом развёртывания сервера в облаке и можем позволить себе такие вещи, как сборка скриптов для браузера через Grunt или установка пакетов Bower - раньше всё это можно было сделать только через костыли.

Ну и пара слов о Bower, которого у нас пока нет, но скоро будет. Это пакетный менеджер, как и npm, но предназначенный для тех вещей, которые обычно отдаются в браузер. После его внедрения мы сможем наконец выкинуть из репозитория Bootstrap и jQuery, а заодно и автоматически обновлять их, вовремя получать обновления и багфиксы и так далее.

А то у нас Bootstrap 2.2.2 до сих пор. Даже не 2.3.2. Про 3.0.2 просто молчу.

m1kc commented 10 years ago

Вот, кстати, наше сегодняшнее дерево. Растёт.

Это дерево я тоже выпилил.

m1kc commented 10 years ago

Новости от 7.12.2013

Теперь в проекте чуть больше CoffeeScript. Больше за неделю ничего не было сделано; гуляет ветер, перекати-поле перекатывается по полю. Считайте, что техотдел взял себе первый отпуск без объявления войны. Такие дела.

m1kc commented 10 years ago

Новости от 14.12.2013

Ещё раз переписали систему миграции таблиц. Как оказалось, предыдущая реализация не могла выполнить несколько операций за один вызов, поэтому её пришлось слегка переделать.
Ядро движка переписано на CoffeeScript. Переход на CS - не самая приоритетная задача, но этот язык чертовски удобен, так что мы потихоньку на него переползаем.
Перенесли ещё одну страницу с РНР. Осталось ещё 4. После этого большую часть старого кода можно будет наконец выкинуть.
В рамках кампании по борьбе с лапшой перешли на библиотеку sync (это вообще отдельная тема, про которую можно целый рассказ написать).
Сообщения об ошибках, которые видит пользователь, теперь чуть более информативны. В идеале он их, конечно, никогда не должен увидеть, но идеальных программ пока нет.

m1kc commented 10 years ago

Кстати, реально - про sync рассказать? Это чисто технический момент, но вдруг кому интересно.

m1kc commented 10 years ago

Извините, сегодня новостей не будет. Как-нибудь на неделе. Про sync тоже потом расскажу.

m1kc commented 10 years ago

Новости от 25.12.2013

Лол, а что-то мы ни хрена и не сделали. Исправили пару ошибок, ещё раз перекопали init, добавили туда оптимизацию таблиц, сломали билд, потом починили, потом выгрузили свежатину на Heroku, потом исправили ещё багов, потом стемнело. Хотя стойте, тогда выходит, что всё-таки что-то сделали. Но мало.

Делаем ставки на то, сколько у нас ещё времени уйдёт на то, чтобы доковырять init.

FaNatizM commented 10 years ago

Coming soon...

FaNatizM commented 10 years ago

А не, ложный вызов.

m1kc commented 10 years ago

Хола.

Последние несколько дней я нахожусь за границей, и тут дичайший напряг с интернетом. Местное население выходит в интернет через диалап (для которого у моего ноута нет разъёма) и 3G-свистки, драйвера для которых были утеряны ещё во времена царя Гороха. Всё это причиняет мне некоторый дискомфорт. Я даже пытался взломать чей-нибудь вайфай, но попытка оказалось безуспешной. За целый вечер я не смог перехватить ни одного сетевого пакета. В радиоэфире глухо, как в танке. Только точки доступа вещают свои SSID.

Стоило бы порадоваться за такую тишь и гладь, но моя беспокойная душа мечется в поисках выхода. Мобильник, к слову, тоже не спасёт: после того, как я увидел цены на интернет в международном роуминге, у меня упал. Поэтому я сижу на диване и развлекаюсь оптимизацией решений задач из Project Euler. То есть я беру свои старые решения и пытаюсь сделать так, чтобы они укладывались в 400 мс. Это не слишком легко, потому что некоторые из них работают минуту. Но у меня времени полно, а настойчивости ещё больше. (Я бы с удовольствием решал другие задачи оттуда, но как мне их скачать?)

Ну, в общем, с Новым годом всех. Счастья вам в новом году, не хворайте, не пейте лишнего, живите на всю катушку и гребите деньги лопатой (к каковому процессу, надеюсь, в 2014-м году мы всё-таки приступим). С годом! С счастьем! Конец связи.

P.S. Вернусь 6-7 числа.

m1kc commented 10 years ago

Ну вот, я тут.

m1kc commented 10 years ago

В связи с экзаменами мы с Антоном приостанавливаем работу примерно до 27 числа.

m1kc commented 10 years ago

Летим дальше.

m1kc commented 10 years ago

Сегодня у нас есть повод выпить. Повод, как обычно, огласим в конце недели.

m1kc commented 10 years ago

Новости от 2.02.2014

Так вот, обещанный инфоповод (простите, пишу в спешке). Мы полностью избавились ото всех страниц, генерируемых РНР - теперь их все отдаёт новый движок. Это важная веха, чоужтам. Осталось только механизм миграции переписать, и переход можно будет считать законченным. За пару недель, думаю, управимся. Всех поздравляю, все молодцы.

m1kc commented 10 years ago

Новости от 9.02.2014

Пилим механизм миграции. Ну, точнее, там остался только парсер unify, его и делаем. За неделю, как и ожидалось, не успели, доделаем на следующей.

m1kc commented 10 years ago

Есть хорошие новости и плохие. Хорошая - мы почти дописали парсер. Плохая (для проекта) - мы участвуем в Volga-CTF, поэтому на выходных ничего писать не будем. Ещё хуже - во вторник Антон ложится в больницу на две недели.

m1kc commented 10 years ago

Новости от 16.02.2014

Третье место на CTF. Парсер, конечно, не успели.

m1kc commented 10 years ago

Новости от 22.02.2014

Ну что ж, вот он - исторический день. Сегодня из репозитория были выброшены последние куски кода на РНР и удалены все связанные с ним ресурсы.

Переход на новую платформу потребовал почти полгода работы. Это дохуя. Если бы я знал, что будет так дохуя, я бы ещё четыре раза подумал, прежде чем менять платформу. Я не жалею о принятом решении, но возможно, что мы смогли бы как-нибудь прожить и без этого. А может, и не смогли бы - проекты на РНР, по статистике, скатываются в сраное говно очень часто, и это далеко не случайность.

В общем, что мы получили в итоге:

Асинхронное I/O. Движок работает раз в сто быстрее старого и может одновременно обслуживать где-то несколько тысяч игроков, потребляя при этом меньше ресурсов.
Безопасность. Новый движок нельзя взломать обычными РНР-шными эксплоитами по причине отсутствия РНР, он не подвержен SQL-инъекциям, непробиваем для XSS и более устойчив к DDoS-атакам. В целом - если старый движок ещё, возможно, могли поломать юные хакеры, то для нового нужны уже более серьёзные люди.
Лёгкость развёртывания. Что бы там ни говорили, приложения на РНР тяжело разворачивать на сервере, потому что они требуют подготовки сложной и подчас ебанутой инфраструктуры. Node.js же легко разворачивается в любом облаке и на любом VPS и имеет минимум зависимостей.
Качество кода. 100%-ное покрытие кода юнит-тестами почти гарантирует отсутствие багов, ну и сам по себе код стало приятнее читать и легче поддерживать.

Новый парсер стал более-менее стабильным и влит в основную ветку.

В общем, мы сделали дохуя работы и сделали её хорошо. Всех поздравляю.

Но впереди её ещё больше.

m1kc commented 10 years ago

Новости от 28.02.2014

Опять всякая техническая хуета.

Теперь у нас есть домен http://www.playuonline.tk/.
Все запросы к серверу теперь проксируются через CloudFlare. Этот сервис следит за тем, чтобы страницы меньше весили и быстрее загружались, защищает нас от DDoS-атак, а также отдаёт статику (картинки, скрипты, стили) с сети своих серверов по всему миру - опять же, для того, чтобы они быстрее загружались и чтобы нагрузка на наш собственный сервер была меньше. Да, а ещё он обеспечивает поддержку IPv6.
Теперь мы используем пакетный менеджер Bower. Теперь внешние библиотеки типа Bootstrap и jQuery не захламляют наш репозиторий и могут обновляться.
Теперь мы используем шаблонизатор Jade (вместо Swig). Код страниц теперь пишется быстрее и проще.
Поправили кучу мелких косяков.

На следующую неделю запланированы работы такого же плана. Ждём, когда Антона из больницы выпишут.

m1kc commented 10 years ago

Новости от 8.03.2014

Всю неделю разгребал завал в универе. Антона выписали. Но, в общем, написали мы мало. Самое заметное - теперь игра не путает оффлайн и истёкшую сессию. Остальные изменения коснулись самого кода: он стал лучше, чище ~~и добрее~~, и мы исправили некоторые старые баги.

m1kc commented 10 years ago

1000 коммитов, посоны.

FaNatizM commented 10 years ago

Сегодня в очередной раз осознал, что пора учиться. Вот только теперь, совершенно точно, наступает момент дедлайна, когда промедление подобно смерти. Моя нехорошая привычка игнорировать одни дела в пользу других, меня ещё не поводила, но испытывать удачу на прочность в очередной раз как-то не хочется. Посему, к сожалению, я вынужден оставить работу которой занимался с таким упоением. Вдвойне печальней то, что оставляю я её незаконченной, и боюсь в состоянии 50-и %-ной готовности. Так уж вышло, что всё раздулось до немыслимых объёмов: две недели превратились в два месяца, а затем и в полгода. Возможно, займись я этим сейчас в плотную, мне удалось бы привести всё в хоть какой-то товарный вид к началу апреля. Но сил и времени уже нет. Это грустные новости. Теперь о новостях более менее хороших. Дабы не быть пустозвоном, я выложу всё, чем занимался с середины сентября. Более конкретно о том, чем я таки занимался, будет сказано в соответствующей теме. Тут же пока добавлю следующее. Несмотря на учёбу, не думаю, что прекращу рисовать. Более того, постараюсь рисовать в тему, а не налево. Мне кажется, что я нашёл что-то похожее на стиль к которому стремился, и теперь его нужно затачивать к нужному виду. Ну идеи, надеюсь, тоже меня не покинут. Буду записывать их по мере поступления, на будущее. А да, и про будущее. Оклематься от учёбы очень надеюсь к началу июня. К тому времени определённо должны будут появиться новые силы продолжить вплотную заниматься Эрией.

uonline / universe