Разбор ссылок по анализу данных

10-06-2014 05:47

Список NoSQL баз данных - полезный список, помимо баз есть еще события (конфы).
Хорошие базы, которые надо иметь ввиду:

семейства столбцов: HBase - для хадупа, Cassandra - аналог hbase;
док.ориентированные: MongoDB - круто развит, Elasticsearch - для текстовых документов/логов;
ключ-значение: DynamoDB - "automatic ultra scalable", Riak - в отличии от Redis есть Multiple Masters, LevelDB - используется в биткоинах, баз ключ-значение дофига.
графовые: Neo4J - куча всего, Infinite Graph - тоже.
Multimodel Databases - крутые, нужно подробнее разобраться с некоторыми: ArangoDB, AlchemyDB

Если целью является точность, нужно составлять результат из нескольких моделей.
Нужно тестировать много гипотез на множестве тестов.
Есть данные пространственные и временные, нужно из сгладить: loess, Сглаживающий сплайн, Скользящая средняя, Скрытая марковская модель
Перед тем, как анализировать данные, попробовать их отобразить Квартет Энскомба, Bland–Altman plot
ИНтерактивный анализ - лучший способ выяснить, что на самом деле происходит с данными. (Robert Gentleman, Genentech: "make big data as small as possible as quick as is possible")
Нужно знать реальный размер выборки.
Unless you ran a randomized trial, potential confounders should keep you up at night
Определить метрику успеха
Нужно писать код и оформлять данные так, чтобы более опытные аналитики могли проверить результаты
Нужно использовар разные инструменты, а не только тот, который знаешь лучше.

Data evangelist - выясняет потребности клиента, находит применение данным
Contextual analyst - работает над качеством продукта, необязательно программист
Data visualizer - думает, как представить результаты контекстного аналитика конечному пользователю

Развитие в анализе данных - советы, как развиться в анализе данных

Для начала нужно хорошо выучить какой-нибудь язык программирования (Python) и SQL
Быть в курсе новых технологий работы с данными.
Ходить на встречи, конференции, хакатоны.
Практиковаться. Есть большая разница между курсовыми в MOOC и анализом реальных данных.
При самостоятельной работе обычно нет четкого момента ее завершения.

BigML - инструмент для анализа данных

Инфографика по языкам анализа данных - 50% победителей Kaggle пользуются R. Им же пользуются Google и Facebook.

R Cookbook by Paul Teetor
Machine Learning for Hackers by Drew Conway & John Myles White
R graphics cookbook by Winston Chang
Programming Collective Intelligence by Toby Segaran - читал.
Python for Data Analysis by Wes McKinney
Agile data science by Russell Jurney - клёвое название
Natural Language processing with Python by Steven Bird et al
Mining the social web by Matthew A. Russell - немного читал, простая, на конкретных примерах(нужно составить список книг, которые хорошо бы прочитать)

Наборы данных - около сотни, есть те, которые были в конкурсах на Kaggle.

tags: data-mining